© University of Oulu

Skip to end of metadata
Go to start of metadata

The license could not be verified: License Certificate has expired!

Arvioitaessa tutkijoiden ja/tai tutkimusryhmien tasoa julkaisutoiminnan avulla ovat eniten käytettyjä mittareita julkaisuaktiivisuus (julkaisujen määrä), julkaisujen saamien viittausten määrä sekä tutkimuksesta tiedottamisessa käytettyjen julkaisujen laatu. Näiden tietojen arviointiin on olemassa useita työkaluja, joista osa on lisäksi tieteenalakohtaisia.

Yksittäisen tutkijan arvostusta alalla voidaan arvioida myös muiden tekijöiden perusteella: tutkijan verkostoituminen, neuvottelukuntiin tms. kuuluminen, julkaisujen vertaisarvioinnin asiantuntijana toimiminen, esitelmät ja erityisesti pääpuhujina toimiminen, palkinnot ja tunnustukset jne. Näiden tietojen löytäminen on ensin mainittuihin verrattuna huomattavasti vaikeampaa ja useimmiten tiedot ovat löydettävissä ainoastaan tutkijoiden ja/tai tutkimusryhmien omilta sivuilta.

Julkaisuaktiivisuus

Julkaisuaktiivisuuden selvittämiseen yksinkertaisin tapa on etsiä tutkijan julkaisuja tieteenalan keskeisten tietokantojen kautta. Tutkijan julkaisuaktiivisuutta selvitettäessä kannattaa käyttää tietokannan tekijähakua. Julkaisuaktiivisuuden arvioinnin kannalta on olennaisen tärkeää käyttää lähteenä mahdollisimman useaa tietokantaa, jotka sisältävät tutkijan edustaman tieteenalan julkaisuja. Lisäksi monografioiden etsiminen on usein ongelmallista, niiden jäädessä löytymättä useammista tietokannoista.


Kuvan esimerkissä keskimmäisessä sarakkeessa on informaatiotutkimuksen tutkijoiden julkaisumääriä pelkästään Web of Sciencesta. Kun samojen tutkijoiden julkaisujen määrää tarkasteltiin useammasta tietokannasta (oikean puoleinen sarake), muuttui rankinglistan järjestys useamman tutkijan kohdalla aivan toiseksi. Esim. Hernon nousi 13. sijalta viidenneksi ja Dimitroff putosi 3. tilalta yhdeksänneksi. Näin ollen vasta useamman tietokannan käyttäminen julkaisuaktiivisuuden arvioinnin lähteenä antaa luotettavampia tuloksia tutkijoiden julkaisuaktiivisuudesta.
Kuvan lähde: Meho Lokman I. & Spurgin Kristina M. (2005). Ranking the research productivity of library and information science faculty and schools: An evaluation of data sources and research methods. Journal of the American society for information science and technology 56(12): 1314-1331. 8.7.2008


Tutkijoiden saamat viittaukset

Tutkijoiden saamien viittausten avulla voidaan arvioida kyseisen tutkijan vaikuttavuutta omalla tieteenalallaan. Viittauksien määrää arvioitaessa kannattaa rajata pois tutkijan viittaukset omiin julkaisuihinsa. Useimmissa viittauksien etsimiseen soveltuvassa tietokannassa tällainen rajaus on toteutettu helposti tehtäväksi.

Tutkijoiden saamien viittausten etsimiseen on olemassa useita tietokantoja, joista keskeisimpiä ja kattavampia ovat Web of Science, Scopus ja Google Scholar. Lisäksi Google Scholarin -sisältöä hyödyntävä Publish or Perish -ohjelma on monipuolinen työkalu tutkijoiden saamien viittausten kartoittamiseen ja analysoimiseen.

Erityisesti Web of Sciencen kohdalla kannattaa huomioida tekijän sijoittuminen tekijälistauksessa. Jos tekijä on merkitty vasta toisena, kolmantena tai jäljempänä, ei tekijän saamat viittaukset löydy vuotta 1988 vanhemmista viittauksista, ellei kyseinen julkaisu kuulu Web of Sciencen seuraamiin lehtiin. Tällöin viittaukset löytyvät ainoastaan, jos tietää kyseisen julkaisun ensimmäisen tekijän ja hakee tämän avulla.


Web of Science -tietokannassa tietyn tutkijan saamia viittauksia kannattaa hakea erityisen viittaushaun (cited reference search) avulla Erilaisten nimimerkkien varalta kannattaa lähteä yleisimmästä mahdollisesta ja käyttää sanankatkaisua esim. Lajunen L*. Myös tekijäindeksin hyödyntäminen voi kannattaa, kuten viereinen kuva osoittaa. Lajuner LHJ on tekijälistauksessa, koska jonkun julkaisun lähdeluetteloon on tallennettu Lauri Lajusen nimi sukunimessä olevan kirjoitusvirheen kera.
Kuvan lähde: Thomson Web of Knowledge (Web of Science) <http://scientific.thomson.com> 8.7.2008

H-indeksi

H-indeksi on tieteellisessä julkaisutoiminnassa käytetty mittari, joka määrittää sekä tutkijan julkaisuaktiivisuutta että tieteellistä vaikuttavuutta. Mitä suurempi on h-indeksin arvo, sitä enemmän kyseinen tutkija on tuottanut paljon viittauksia saaneita julkaisuja. Tutkijan H-index-luku voidaan hakea ainakin Web of Science- ja Scopus -tietokannoista sekä Publish or Perish ohjelman avulla.

Lue lisää H-indeksistä.


Web of Sciencen Citation Report -työkalu kertoo h-indeksin arvon vihreällä viivalla. Kuvan esimerkissä haetulle tutkijalle on löytynyt Web of Sciencesta 152 viitettä. Kun tulokset on järjestetty viittausmäärien mukaan, kohtaavat julkaisumäärä ja saadut viittaukset viitteen 41 kohdalla. Näin ollen tutkijan h-indeksin arvo on 41.
Kuvan lähde: Thomson Web of Knowledge (Web of Science) <http://scientific.thomson.com> 19.12.2008

G-indeksi

Leo Egghen vuonna 2006 kehittämä G-indeksi on H-indeksin parannettu versio. Egghe pitää H-indeksin suurimpana puutteena sitä, että H-indeksi ei ota huomioon paljon viittauksia (enemmän kuin h) saaneiden julkaisujen viittausten todellista lukumäärää, mikä voi olla huomattavasti enemmän kuin h. G-indeksi ei ole ainakaan vielä noussut kovin yleiseen käyttöön. Tutkijoiden g-indeksin arvot ovat kuitenkin haettavissa Publish or Perish -ohjelman avulla.

Lue lisää g-indeksistä.

Tutkijan tausta ja verkostot

Tutkijan tieteellistä tasoa/vaikuttavuutta arvioitaessa myös tutkijan tausta ja hänen verkostoitumisensa tieteenalansa muihin tutkijoihin on arvioinnin kannalta oleellista tietoa. Organisaatiot, joissa hän on työskennellyt, kertovat sinällään paljon tutkijan verkostoitumisesta. Lisäksi verkostoitumista voidaan arvioida selvittämällä, kenen kanssa tutkija on julkaisujaan tuottanut.

Yleensä tutkijan taustatiedot löytyvät kattavimmin tutkijan mahdollisilta omilta verkkosivuilta, mutta joitakin taustatietoja voidaan löytää myös tietokantojen avulla. Esimerkiksi Scopus-tietokanta on yksi erinomainen työkalu tutkijan julkaisuaktiivisuuden ja saatujen viittausten selvittämiseen, mutta myös tutkijan yhteyksien ja verkostojen selvittämiseen. Scopus-tietokanta kerää tietokannan sisältämistä julkaisuista automaattisesti mm. kaikki kanssakirjoittajat ja muodostaa historiatiedot organisaatioista, jotka ovat julkaisuissa ilmoitettu tutkijan taustaorganisaatioiksi. Tiedot perustuvat kuitenkin pelkästään Scopus-tietokannan sisältämien julkaisuihin.


Kuvan esimerkissä on Scopus-tietokannan antamat tiedot H-indeksin kehittäjästä Jorge E. Hirschistä. Tietokannan sisältämästä 188 em. tutkijan tuottamasta julkaisusta löytyy yhteensä 35 kanssakirjoittajaa. Lisäksi Scopuksen aineiston avulla voidaan nähdä, mihin organisaatioihin Hirsch on ollut kytköksissä.
Kuvan lähde: Scopus <http://www.scopus.com> 13.12.2008


 

Julkaisujen laatu

Yleensä tieteenalalla kuin tieteenalalla on tiedossa alan keskeisimmät ja arvostetuimmat julkaisut. Julkaisujen arvostusta lisää yleensä myös vertaisarviointi julkaistavien artikkeleiden valinnassa. Julkaisujen laadun arviointiin on käytössä useita erilaisia mittareita, joista käytetyin on Impact factor.

Lue lisää tieteellisten lehtien arvioinnista.

Lue lisää julkaisujen laadun arviointiin käytettävissä olevista mittareista:

Myös julkaisuille on löydettävissä h-indeksin ja g-indeksin arvoja. Julkaisujen kohdalla näitä arvoja voi etsiä mm. Publish or Perish -ohjelman tai SCImago Journal Ranking -palvelun avulla.

Top-listat

Tutkijoiden arvioinnin avuksi löytyy myös erilaisia top-listoja, joita on kerätty moniin palveluihin. Useimmiten listat perustuvat tutkijoiden kirjoittamien julkaisujen saamien viittausten määrään. Top-listoihin päätyvät yleensä vain tuotteliaimmat ja arvostetuimmat tutkijat, joten vain harvoja tutkijoita voidaan arvioida näiden listojen avulla.

Erilaisia tutkijoiden top-listoja on löydettävissä mm. seuraavista palveluista:

  • ScienceWatch.com: Palvelu sisältää eri tieteenalojen eniten viitattujen tutkijoiden top-listojen lisäksi paljon muutakin arviointia edesauttavaa tietoa niin tutkijoista, julkaisuista, organisaatioista kuin maistakin.
  • ISI HighlyCited.com: ei perinteinen top-lista, mutta sisältää ainoastaan eri tieteenalojen eniten viitattuja tutkijoita
  • CiteSeerX: Sisältää ajantasaisen listauksen tietojenkäsittelytieteiden eniten viitatuista tutkijoista.

Tutkimusryhmien arvioinnissa huomioitavaa

Tutkimusryhmien arviointi on etenkin luonnontieteissä ja lääketieteessä tärkeämpää kuin yksittäisten tutkijoiden arviointi, koska lähes kaikki tutkimustyö tehdään ryhmissä. Tutkimusryhmiä arvioitaessa käytettävät mittarit ovat samoja kuin yksittäisiä tutkijoita arvioitaessa, eli julkaisuaktiivisuus, julkaisujen saamien viittausten määrä sekä tutkimuksesta tiedottamisessa käytettyjen julkaisujen laatu. Lisäksi ryhmiä arvioidaan asiantuntijapaneeleiden avulla esimerkiksi niiden hakiessa rahoitusta, jäsenyyttä yliopistojen erillisohjelmissa, tutkimusorganisaatioissa ja tutkijakouluissa sekä Suomen Akatemian huippuyksikköhaussa.

Tutkimusryhmien arviointi poikkeaa henkilöiden arvioinnista siten, että arvioinnissa käytettävien indikaattoreiden arvoja ei ole saatavissa suoraan tietokannoista. Ryhmien arvioinnissa tulee myös noudattaa erityistä kriittisyyttä ja varovaisuutta arviointi-indikaattoreita tulkittaessa, koska monet virheet ja harhaanjohtavat seikat voivat kertautua ryhmien kohdalla. Viittaustietoihin perustuvien indikaattoreiden laskennassa tulee viittausaineistosta poistaa ryhmänsisäiset viittaukset, koska etenkin suurilla paljon julkaisevilla tutkimusryhmillä sisäisten viittausten lukumäärä voi olla suuri. Esimerkiksi H-indeksin laskeminen tutkimusryhmille poikkeaa yksittäisten tutkijoiden arvioinnista, jossa indeksin arvo lasketaan usein tukijan eliniän ajalta (joskus tosin rajatummalta ajalta). Tutkimusryhmien H-indeksin arvo lasketaan yleensä kolmen tai viiden viimeisen vuoden ajalta, jotta saadaan mahdollisimman oikea kuva ryhmän viimeaikaisesta tutkimuksen tasosta. Eri indikaattorit voivat antaa vastakkaisia arviointituloksia ja siksi tutkimusryhmiä arvioitaessa on erityisen tärkeää käyttää useita indikaattoreita ja niiden täydennyksenä vertaisarviointia. Myös tutkimusryhmiä voidaan verrata vain saman alan muihin ryhmiin, koska ryhmien koko ja julkaisujen määrä vaihtelevat aloittain. Lisäksi on erotettava toisistaan perustutkimusta tekevät ja sovelluksia kehittävät ryhmät, joista jälkimmäiset eivät useinkaan julkaise tutkimustuloksiaan artikkeleina.