Sulje

Tarkenna hakuasi

Tietokone, laskin ja kirjoja.

Tutkimuksen arviointi

Bibliometrisillä menetelmillä voidaan vertailla tieteellisiä julkaisuja ja niiden tekijöitä. Tieteellistä julkaisutoimintaa arvioidaan kvalitatiivisesti ja kvantitatiivisesti. Nämä ovat toisiaan täydentäviä menetelmiä. Kvalitatiivisessa arvioinnissa kiinnitetään huomiota ennen kaikkea julkaisun asiasisältöön ja sen relevanssiin kyseisen tieteenalan kannalta. Tällöin arvioitsijoiden on oltava kokeneita ja kyseisen alan hyvin tuntevia. Vertaisarviointi ennen julkaisemista on yksi osa kvalitatiivista arviointia.

Kvantitatiivisessa arvioinnissa eli bibliometriikassa julkaisuista tuotetaan matemaattisin ja tilastollisin menetelmin erilaisia indikaattoreita. Nämä kuvaavat julkaisutoiminnan tuottavuutta, vaikuttavuutta ja laatua. Indikaattoreita käytetään tutkimuksen arvioinneissa, esimerkiksi Tieteen tila -raporteissa ja yliopistorankingeissa.

Lue lisää:

Opi lisää:

Tarjoamme Itä-Suomen yliopiston kirjaston asiakkaille yleistä ohjausta ja neuvontaa eri mittaustapojen, kuten bibliometriikan, altmetriikan ja datametriikan, hyödyntämisessä.

Tarjoamme välineitä analyysityökaluihin ja organisaation hankkimiin tietokantoihin sekä opetamme ja ohjaamme niiden käytössä.

Tuotamme yliopiston johdolle räätälöityjä palveluja tutkimuksen arviointiin. Annamme yleistä ohjausta ja neuvontaa vastuullisen metriikan suosituksista.

Bibliometriikan käyttökelpoisuus eri aloilla

Bibliometriset tietokannat, kuten Web of Science ja Scopus, suosivat niin kutsuttuja eksakteja tieteitä. Tällaisia ovat luonnontieteet ja niihin perustuvat alat, kuten esimerkiksi biokemia, farmasia ja lääketiede. Näiden alojen tutkimustulokset julkaistaan yleensä artikkeleina englanninkielisissä lehdissä.
 Mitä enemmän ala julkaisee kirjoissa (monografioissa) ja muilla kielillä kuin englanniksi, sitä huonommin bibliometriikka palvelee. Tyypillisiä esimerkkejä ovat humanistiset alat ja yhteiskuntatieteet. Nämä tukeutuvat usein Google Scholar -aineiston antamiin indikaattoreihin (katso Publish or Perish kohdassa Bibliometriset analyysityökalut ja tietokannat). Bibliometriikan mahdollisuudet ovat siis hyvin erilaiset historioitsijalle ja lääketieteilijälle.

Löydät alla kuvattuja indikaattoreita esimerkiksi seuraavista tietokannoista:

Indikaattoreita

Lasketaan useimmiten tekijäkohtaisesti, toisinaan myös oppiaine-, ainelaitos- tai organisaatiokohtaisesti. Analyysi on helpoimmin tehtävissä tekijä- ja organisaatiokohtaisesti, koska näiden julkaisumäärät saadaan bibliometrisistä tietokannoista suoraan. Apuna voidaan käyttää myös oman organisaation julkaisurekisteriä (UEF CRIS) sekä Tiedejatutkimus.fi-portaalia. 

Lasketaan usein niin, että tekijän viittaukset omiin artikkeleihin eli autositaatiot eli itseviittaukset (self citations) on poistettu. Viittausten määrät löydät esim. Scopus (Author Search - Aktivoi kuvake tutkijan nimen edessä - View Citation Overview) ja Web of Science (Author Search - Hae tutkijan nimellä - Create Citation Report) -tietokannoista.

Viittauksia löytyy myös Google Scholarista. Sen viittaustiedot sisältävät paljon mm. suomeksi julkaistua, kirjoja, opinnäytetöitä, myös ei-tieteellisiä viittauksia, joten viittausmäärät ovat yleensä suurempia kuin WoS:n ja Scopuksen.

Kuvaa lehtien ja siteerausten verkottuneisuutta. Laskennassa otetaan huomioon artikkelien saama kokonaissiteerausmäärä viiden edellisen vuoden ajalta sekä yksittäiset siteeratuimmat lehdet. Lisätietoja tästä, valitse palvelun pääsivulta "Eigenfactor Metrics". 

H-indeksin kehitti fyysikko Jorge Hirsch vuonna 2005 teoreettisten fyysikoiden tuottavuuden arviointiin. Indeksin käyttö on vähitellen laajentunut muillekin tieteenaloille. Kun järjestetään henkilön julkaisut siteerausten määrän mukaan alenevaan järjestykseen ja katsotaan listalta sen julkaisun järjestysnumero, joka on saanut vähintään järjestysnumeron verran siteerauksia, on tämä järjestysnumero henkilön h-indeksi. Jos henkilön h-indeksi on esimerkiksi 5, se tarkoittaa sitä, että hänellä on viisi julkaisua, joista jokaista on siteerattu vähintään viisi kertaa. h-Indeksissä yhdistyy siis julkaisujen määrä siteerausten määrään. Tavoitteena on ottaa huomioon sekä tutkijan koko urakehitys että julkaisujen merkittävyys. Mitä nopeammin tutkija saa h-indeksiään kasvatettua, sitä ”vaikuttavampi” hän on. Kääntäen, jos nuoremmalla ja varttuneemmalla tutkijalla on sama h-indeksi, on nuorempi varttunutta ”menestyneempi” tai ”vaikuttavampi.” Eri tietokannat (Scopus, Web of Science, Google Scholar / Publish or perish) antavat erilaisen h-indeksin arvoa johtuen erilaisesta julkaisujen kattavuudesta. 

Ohjeita

Web of Science –tietokantaan perustuva InCites Journal Citation Reports (JCR) sisältää muun muassa lehtien viittaustietoja ja impaktilukuja. Se julkaistaan kerran vuodessa, yleensä kesäkuussa.

IF tunnetaan myös ainakin nimillä impaktitekijä, impaktiluku, viittaustekijä ja viittauskerroin. Se on tieteelliselle lehdelle laskettava indikaattori, joka suhteuttaa artikkelien saamien siteerausten määrän julkaistujen artikkelien määrään. Lasketaan aina koko lehdelle, ei koskaan yksittäisille artikkeleille eikä kirjoittajille. Impact factor esimerkiksi vuodelle 2016 saadaan niin, että ensin lasketaan yhteen lehdessä julkaistujen artikkelien saamien siteerausten määrä kahtena edeltävänä vuonna (2015+2014) ja tämä summa jaetaan lehdessä samana ajanjaksona julkaistujen artikkelien määrällä. Jos jonkin lehden Impact factor on esimerkiksi 3.7, tarkoittaa tämä siis sitä, että jokaista kyseisessä lehdessä julkaistua artikkelia on siteerattu keskimäärin 3.7 kertaa Impact factor –vuotta edeltäneiden kahden vuoden aikana. IF on keskiarvo viittauksista, joiden jakauma on vino, koska vain osaan lehden kaikista artikkeleista viitataan tai erittäin pieneen osaan viitataan paljon. Myös pienen IF:n lehdissä julkaistaan artikkeleita, joihin viitataan paljon, ja myös korkean IF:n lehdissä julkaistaan artikkeleita, joihin ei viitata ollenkaan. Ohje

Yleensä lehdelle laskettava indikaattori, joka ilmoittaa, kuinka monta kertaa artikkelia on keskimäärin siteerattu sen julkaisuvuonna. Mitä korkeampi Immediacy index, sitä nopeammin artikkeli on saanut siteerauksia. Lehden Immediacy Index -arvon löydät esim. Journal Citation Reports -tietokannasta (Select Journals - Klikkaa lehden nimeä - Key Indicators). 

Google PageRank –algoritmiin perustuva tieteellisen lehden vaikuttavuuden indikaattori. Lasketaan hieman samaan tapaan kuin Impact factor. Siteeraukset saavat kuitenkin aluksi lehden aihealueen ja ”arvovallan” mukaiset painoarvot. Siteerausten määrä otetaan huomioon vain yhdeltä vuodelta, ja tämä suhteutetaan lehdessä kolmena edeltävänä vuonna julkaistujen artikkelien määrään. Siteerausten painotuksella pyritään normalisoimaan SJR-arvot. Tavoitteena on ehkäistä tiettyjen alojen ”ansiotonta arvonnousua”, joka tapahtuu helposti vain Impact factor -arvoja käytettäessä. Lisätietoja (valitse Journal Rankings - Hae lehden nimellä - SJR-arvon löydät kaaviosta).

Lehden saamien siteerausten määrään perustuva indikaattori, jonka tavoitteena on parantaa eri tieteenalojen vertailukelpoisuutta. Yksittäisen lehden saamat siteeraukset suhteutetaan kyseisen lehden tieteenalan kokonaissiteerausmäärään hieman samaan tapaan kuin SJR-indikaattorissa. Hae lehden SNIP-arvo esim. Scopus-tietokannasta (Sources - Hae lehteä - Klikkaa lehden nimeä - Source Details) Lisätietoja:  How are CiteScore metrics used in Scopus?

Bibliometriset analyysityökalut ja tietokannat

Scopus on monialainen ja monisisältöinen viitetietokanta, jota tuottaa ja ylläpitää Elsevier. Sisältää yli 50 milj. artikkeliviitettä 20 000 vertaisarvioidusta lehdestä. Vahvuutena tekijänimien ja instituutioiden nimien yhtenäistäminen ja luotettava tunnistaminen. Mahdollisuus hakea julkaisuja, siteerauksia, h-indeksejä, SJR-arvoja sekä SNIP-arvoja. Hakutuloksia voi myös analysoida esimerkiksi keskeisten lehtien, tutkijoiden ja instituutioiden löytämiseksi halutulta aihealueelta. Scopus tutorials: author search, author details.

Web of Science koostuu kolmesta alatietokannasta: Science Citation Index (SCI), Social Sciences Citation Index (SSCI) ja Arts & Humanities Citation Index (A&HI), ja sisältää lähes samat lehdet kuin Scopus. Tuottaja ja ylläpitäjä alun perin Institute of Scientific Information, sittemmin Thomson Reuters ja nykyisin Clarivate Analytics.  Mahdollisuus hakea julkaisuja, siteerauksia ja h-indeksejä. Hakutuloksia voi myös analysoida samaan tapaan kuin Scopus-tietokannassa.

 Web of Science:n käyttöä vaikeuttaa huomattavasti se, että tekijänimiä ei ole yhtenäistetty. Esimerkiksi suomalainen kirjoittaja, jonka sukunimessä esiintyy ä- ja ö-kirjaimia, saattaa esiintyä tietokannassa jopa yli kymmenellä eri tavalla kirjoitettuna. Sama ongelma koskee instituutioiden nimiä. Luotettavan tuloksen takaamiseksi on kaikki mahdolliset nimimuodot löydettävä haussa.

JCR on Impact factor -arvojen ainoa virallinen lähde, tuottaja Clarivate Analytics. Sisältää Impact factor -arvot ja muita indikaattoreita kaikista Web of Science -tietokantaan sisältyvistä lehdistä, ja vain niistä. Clarivate Analytics omistaa Impact factor -arvot, eivätkä muut tahot saa julkaista niitä, ainakaan samalla nimellä. Journal Citation Reports on käytettävissä osana Web of Science -tietokantaa.

Google Scholarista voit hakea avoimesti saatavia tieteellisiä julkaisuja viittausmäärineen. Publish or Perish on omalle koneelle asennettava, maksuton analysointiohjelma, joka hyödyntää mm. Google Scholar -tietokannan sisältämää julkaisudataa. Google Scholar sisältää lukuisia erilaisia aineistomuotoja, joten Publish or Perish on käyttökelpoinen erityisesti muilla kuin ns. artikkelialoilla. Analyysin luotettavuutta heikentää se seikka, että Google Scholar -tietokannan tarkkaa sisältöä ei ole julkistettu. Asenna Publish or Perish -ohjelma.

Julkaisufoorumi on suomalaisen tiedeyhteisön tuottama julkaisukanavien tasoluokitus. Kanavat jaotellaan kolmeen tasoon (1 = perustaso, 2 = johtava taso, 3 = korkein taso). Sisältää lehtiä, kirjasarjoja, kirjakustantajia ja konferensseja. Kanavien arvioinnin tekevät 23 tieteenalakohtaista asiantuntijapaneelia, joihin kuuluu noin 250 ansioitunutta suomalaista tai Suomessa työskentelevää tieteentekijää. Yliopistojen valtiolta saamasta perusrahoituksesta 13 prosenttia perustuu julkaisuihin JuFo-luokitelluissa kanavissa. Lue lisää: 10 faktaa Julkaisufoorumista (Vastuullinen tiede)

UEF CRIS

Itä-Suomen yliopiston asiantuntijat tuottavat vuosittain yli 2 000 tieteellistä julkaisua, joista noin 2/3 on julkaistu ulkomailla. Tutkimustulosten ensisijaisina julkaisukanavina ovat kansainväliset julkaisufoorumit, mikäli se tieteenalan osalta on tarkoituksenmukaista. Yliopiston henkilökunnan julkaisuja voi hakea CRIS-tutkimustietokannasta esimerkiksi henkilön nimen, asiasanan tai julkaisutyypin avulla.

Juuli-julkaisutietoportaali

Suomalaisten tutkimusorganisaatioiden julkaisutietojen selailuun ja niistä tehtäviin hakuihin. Portaalin ylläpidosta vastaa Kansalliskirjasto yhteistyössä opetus- ja kulttuuriministeriön ja CSC:n kanssa. JUULIn sisältämä data on koottu opetus- ja kulttuuriministeriön vuosittaisen tiedonkeruun yhteydessä suomalaisten yliopistojen julkaisurekistereistä. Tällä hetkellä portaali sisältää yliopistojen julkaisut vuodesta 2011 alkaen.

Vipunen

Yliopistokoulutuksen julkaisuraporteilla voi tarkastella yliopistojen vuosittaista julkaisutoimintaa erilaisten luokittelujen mukaan (esimerkiksi julkaisutyyppi ja julkaisufoorumitaso). Tietoja on tarjolla vuodesta 2010 alkaen.

The truth is rarely pure and never simple.

Oscar Wilde

Lisätietoa

Bibliometriikan kehitys alkoi 1900-luvun ensimmäisinä vuosikymmeninä. Tuolloin tieteellinen tutkimustoiminta alkoi vakiintua. Tieteen itsensä kehitystä haluttiin myös analysoida ja mallintaa. Koska tutkimustulokset tulevat ilmi ennen kaikkea julkaisuina, ajateltiin, että julkaisuja analysoimalla saataisiin tietoa myös tieteen kehityksestä. Kiinnostus julkaisuihin oli  puhtaan akateemista tässä vaiheessa. Bibliometriikka eli pitkään hiljaiseloa tutkijoiden kammioissa, mutta 2000-luvulla se nousi uudelleen esiin. Akateemiset ranking-järjestelmät, tieteelliset rekrytoinnit, tenure track -järjestelyt, henkilöiden arvioinnit, rahoituspäätökset ja muut vastaavat haluttiin perustaa "objektiivisen" informaation varaan. Tällöin huomattiin bibliometriikan mahdollisuudet. Bibliometrisen tiedon lähteet olivat kehittyneet helppokäyttöisiksi. Indikaattoreita voitiin tuottaa helposti ja nopeasti suuria määriä.

Indikaattorit ovat kuitenkin vain numeroita, ja ne täytyy tulkita jollain tavoin, jotta niitä voisi ymmärtää. Tähän liittyy useita ongelmia. Mikä on "pientä" ja mikä "suurta" jollain tieteenalalla, ja kuka pienuuden ja suuruuden määrittelee? Kuka numeroita ylipäätään tulkitsee ja mihin tarkoitukseen? Yksittäinen tutkija rahoitusta hakiessaan? Tiedekunnan hallinto tulosneuvotteluja varten? Yliopiston johto selvittäessään oman talon sijoitusta maailmanlaajuisesti?

Vaaralliselle tielle lähdetään, jos ryhdytään selvittämään eri alojen keskinäistä "paremmuutta" bibliometriikan avulla. Erot selittyvät muun muassa alojen erilaisilla julkaisu- ja siteerauskäytännöillä. Pääsääntö on, että bibliometrinen analyysi pätee vain saman tieteenalan sisällä. Leidenin manifesti sisältää 10 periaatetta, joita tulisi noudattaa tutkimuksen arvioinnissa bibliometrisin menetelmin.

Katso myös

Ota yhteyttä:

tietopalvelu@uef.fi

Katso myös

Avoin tiede ja tutkimus