Bibliometriikkaa informaatiotieteilijöille - erään pilottiprojektin tarina

Bibliometriikka eli tieteellisen julkaisutoiminnan määrällinen tutkimus ei ole kuulunut suomalaisten tieteellisten kirjastojen peruspalveluihin, mutta viime aikoina bibliometriseen osaamiseen on alettu kiinnittää huomiota. Kun Helsingin yliopistossa aloitettiin koko yliopiston tutkimuksen arviointi pari vuotta sitten, Helsingin yliopiston kirjastossa perustettiin bibliometrinen opintopiiri ja työryhmä. Työryhmä saikin sitten tehtäväkseen vaihtoehtoisten bibliometristen analyysien tekemisen niille tieteenaloille, joille Web of Science (WoS) -pohjaiset viittausanalyysit eivät soveltuneet (Forsman, 2011). Tampereen teknillisen yliopiston tutkimuksen arviointihankkeissa kirjastolla on niin ikään ollut tärkeä rooli julkaisutietojen keräämisessä, tarkistamisessa ja bibliometrisen raportin kirjoittamisessa.

Tampereen yliopistossa tutkimuksen arviointi on tulossa vuonna 2014. Vaikka ei ollutkaan vielä tietoa, mikä kirjaston rooli tulevassa arvioinnin toteutuksessa on, kirjastossa päätettiin ryhtyä vahvistamaan ja laajentamaan bibliometrista osaamista. Mikä olisikaan parempi tapa oppia kuin tehdä konkreettisia bibliometrisia analyyseja! Bibliometrisen analyysin kohteeksi saimme Informaatiotieteiden yksikön (SIS) ja sitä edeltävien laitosten julkaisut vuosilta 2008−2010. Julkaisutiedot saimme SoleCris-tietokannasta, tosin täydensimme niitä myöhemmin muista tietokannoista. Päätimme laskea SIS-yksikön julkaisuille viittausmääriä ja vieläpä useasta tiedonlähteestä: WoS- ja Scopus-tietokannoista sekä Google Scholarista. Viittaukset päätimme katsoa vuosilta 2008−2011. Lisäksi selvitimme, miten yksikön tärkeimmät julkaisut sijoittuvat Julkaisufoorumin eri tasoille.

Aloitimme bibliometrisen pilottimme vuoden 2012 alussa. Työryhmään kuului tietopalveluosastolta osastonjohtaja ja kaksi informaatikkoa, yksi informaatikko tietokantaosastolta ja kirjastonhoitaja sisäisten palvelujen osastolta eli yhteensä viisi henkilöä. Saimme koulutusta Helsingin yliopiston ja Tampereen teknillisen yliopiston kirjastojen bibliometristen projektien vetäjiltä, Maria Forsmanilta ja Leena Huikulta. Osa meistä kävi myös Suomen yliopistokirjastojen neuvoston järjestämässä bibliometrisessa koulutuksessa Helsingissä. Projektin tavoitteena oli tietenkin saada oikeaa viittaustietoa SIS-yksikölle, mutta lopulta huomasimme, että tärkeää oli myös se tieto, mitä saimme eri tietokantojen ominaisuuksista ja katteesta.

Informaatiotieteiden julkaisutyypit

Bibliometrisen pilotin kohteeksi otettiin kansainväliset vertaisarvioidut ja vertaisarvioimattomat  julkaisut sekä kotimaiset vertaisarvioidut julkaisut. Julkaisujen yhteismäärä oli 554. Se jakaantui eri vuosille seuraavasti:

• vuodelta 2008: 200 julkaisua
• vuodelta 2009: 210 julkaisua
• vuodelta 2010: 144 julkaisua

Analyysissa käytettiin OPM:n julkaisutyyppiluokittelua (2010), jota oli käytetty myös Helsingin yliopiston kirjaston analyyseissa. Ainoa muutos oli, että tässä analyysissa yhdistettiin julkaisutyypit A1 (vertaisarvioitu alkuperäisartikkeli aikakauslehdessä) ja A2 (vertaisarvioitu katsausartikkeli aikakauslehdessä ) yhdeksi julkaisutyypiksi Ax (vertaisarvioitu artikkeli aikakauslehdessä). Alkuperäisartikkelin ja katsausartikkelin erottaminen käytännössä eri tietokannoissa olisi ollut vaikeaa.

Taulukko 1: Julkaisutyyppien määrä vuosittain 2008 – 2010

Kaikki julkaisut                                                         

(PR = vertaisarvioitu, peer-reviewed)

Julkaisutyyppien määriä (Taulukko 1) tarkasteltaessa huomio kiinnittyy siihen, että artikkelit konferenssijulkaisuissa (julkaisutyyppi A4) oli yleisin julkaisutyyppi (257 kpl) informaatiotieteissä, jopa yleisempi julkaisutyyppi kuin tieteelliset artikkelit (178 kpl). Luokittelimme konferenssiartikkeleiksi esimerkiksi Lecture Notes in Computer Science ja Lecture Notes in Business Information Processing -julkaisuissa ilmestyneet artikkelit. Ne olisi ehkä voinut luokitella myös kokoomateosartikkeleiksi, mutta päätimme korostaa tässä konferenssinäkökulmaa. Se että informaatiotieteissä, erityisesti tietojenkäsittelytieteessä julkaistaan paljon konferenssijulkaisuissa, on yleisesti tiedetty tosiasia (esim. Forsman, 2011).

Julkaisujen saamat viittaukset

Viittausten kokonaismäärä / julkaisu vaihteli välillä 0−290, keskiarvon ollessa 2,4.  Uusimmilla, vuoden 2010 julkaisuilla oli ollut suhteellisen vähän aikaa saada viittauksia.  Kaikista julkaisuista 44,4 prosenttia oli saanut vähintään yhden viittauksen.

Kuvio 1. Julkaisujen eri tietokannoista saamat viittaukset sekä itseviittaukset

WoS:sta löytyneiden viittausten määrää vähentää se, ettei Tampereen yliopiston kirjaston WoS-lisenssi sisällä konferenssijulkaisuja. Scopuksesta ja Google Scholarista konferenssipapereita löytyi paremmin. Google Scholarista löytyi 868 viitettä, joita ei ollut kahdessa muussa tutkitussa tietokannassa. Tätä selittää osittain se, että kotimaisia julkaisuja ja niiden viittaustietoja löytyi vain Google Scholarista, mutta tutkimukseemme mukaan otettujen kotimaisten julkaisujen määrä oli suhteellisen pieni, 56 kpl, ja ne saivat yhteensä 59 viittausta väitöskirjojen saadessa eniten viittauksia. Google Scholarista löytyneet viittaukset sisälsivät kuitenkin kaikkia julkaisutyyppejä.

Google Scholaria kritisoidaan siitä, että se sisältää myös melko paljon vertaisarvioimattomia julkaisuja (esim. Meho & Yang, 2007, 2117). Tosin Harzingin ja van der Valin tutkimuksen mukaan (2008, 65) Google Scholarin viittauksista 75 prosenttia johti akateemisiin julkaisuihin ja loputkin viittauksista johtivat usein oppikirjoihin tai eritasoisiin opinnäytteisiin.

Tutkimuksessa katsottiin myös itseviittausten määrää. Tämä oli hankalaa, koska tietokannat suhtautuvat itseviittauksiin eri tavoin, Scopuksen ollessa kaikkein jyrkin pitämällä itseviittauksina  kaikkia viittauksia, joissa yksikin kirjoittaja oli yhteinen viitatulle julkaisulle. Scopuksessa  itseviittausten määrä olikin 26 prosenttia. WoS katsoo itseviittaukseksi vain ne julkaisut, joissa kaikki kirjoittajat ovat samoja kuin viitatussa julkaisuissa, jolloin siinä itseviittausten määräksi tuli 12,2 prosenttia. Google Scholar ei kerro itseviittauksia, vaan ne oli laskettava ja eroteltava käsin, mikä oli hankalaa jos viittauksia oli runsaasti. Google Scholarin itseviittausten määräksi saatiin 26,9 prosenttia Scopuksen kriteerin mukaisesti laskettuna.

Kolmen erilaisen tietokannan yhdistäminen ja viitetietojen keruu käsin oli työlästä ja itseviittausten määrän poistaminen vaati erityistä tarkkuutta. Inhimillisen laskuvirheen mahdollisuus oli ilmeinen. Mikäli tutkittavien julkaisujen määrä olisi ollut suurempi, ei tällainen työskentelytapa olisi ollut mahdollinen.

Vaikka julkaisutiedot saatiin pääasiassa SoleCrisistä, niin tietojen siirto Exceliin oli aikaa vievää muotoiluineen ja tarkistuksineen. Lisäksi tietokannoista etsittäessä löytyi vielä 37 julkaisua, joita ei ollut syystä tai toisesta löytynyt SoleCrisistä: Ne täytyi jälkikäteen lisätä tiedostoihin. Loppujen lopuksi julkaisutiedot jaettiin seitsemään eri tiedostoon, joihin eri henkilöt lisäsivät viittaustietoja. Muutamaankin kertaan olimme hyvin tyytyväisiä, että tiedostoista otettiin varmuuskopio päivittäin. Tulosten Pivot-taulukointi oli hyvin hauskaa mutta vaatii tarkkuutta, kuten laskenta Excelissä yleensäkin.

Laatulehtiä

Listasimme Informaatiotieteiden yksikön käyttämistä julkaisukanavista tieteelliset aikakauslehdet. Järjestimme lehdet sen mukaan, kuinka monta artikkelia yksikön tutkijat/opettajat olivat julkaisseet niissä vuosina 2008−2010. Selvitimme myös WoS:in Journal Citations Reports -tietokannasta (ks. taulukko 2). näiden suosituimpien tieteellisten aikakauslehtien impact factorit (http://www.pshp.fi/default.aspx?contentid=1230). Lehden impact factor (IF-luku) kuvaa kuinka monta siteerausta lehdessä ilmestynyt artikkeli saa keskimäärin yhden vuoden aikana. IF-luku lasketaan jakamalla lehden kahden vuoden aikana ilmestyneiden artikkeleiden saama siteerausten kokonaismäärä artikkelien määrällä. (Pirkanmaan sairaanhoitopiiri 2012.)

Lisäksi selvitimme lehtien sijoittumisen Julkaisufoorumin tasoluokituksessa. Julkaisufoorumi-hankkeessa luotiin kaikki tieteenalat kattava laatuluokitus tieteellisille julkaisukanaville eli tieteellisille lehdille, konferenssi- ja kirjasarjoille sekä kirjankustantajille. Tasoluokituksista päättivät tieteenalakohtaiset arviointipaneelit. Tasoluokituksia päivitetään kolmen vuoden välein ja uusia tieteellisiä julkaisukanavia lisätään. Julkaisufoorumi-luokitus käsittää kolme tasoa: perustason (1), johtavan tason (2) ja korkeimman tason (3). (Julkaisufoorumi 2012.)

Taulukko 2. Suosituimpien tieteellisten lehtien impact factor -arvot ja Julkaisufoorumiluokitus

Informaatiotieteiden yksikön 23 suosituimman tieteellisen aikakauslehden joukossa oli seitsemän korkeimmalle tasolle (3) luokitettua lehteä, joista kaksi oli kolmen eniten SIS:n artikkeleita keränneen lehden joukossa (ks. taulukko 2). Johtavalle tasolle (2) sijoittui kaksi lehteä, joista Information Research -lehti oli kerännyt eniten SIS:n artikkeleita eli 10 artikkelia. Perustasolle (1) sijoittui 12 lehteä. Vain kahdella 23 suosituimmasta lehdestä ei ollut tasoluokitusta Julkaisufoorumissa. − Tämän pienen aineiston perusteella näyttää siltä, että SIS-yksikkö on onnistunut julkaisemaan laatulehdissä.

Konferenssijulkaisut tärkeitä

Tarkastelimme myös SIS-yksikön tutkijoiden suosimien konferenssien sijoittumista Julkaisufoorumin luokitukseen (ks. taulukko 3). Suurimmalla osalla konferensseista ei ollut JUFO-luokitusta, kuusi niistä sijoittui perustasolle (1), ja yksi konferensseista sijoittui johtavalle tasolle (2).

Taulukko 3. Suosituimpien tieteellisten konferenssien Julkaisufoorumiluokitus

Mielenkiintoista ja tärkeää konferenssijulkaisuihin liittyen oli myös se, että vaikka ne olivat SIS-yksikön suurin julkaisuryhmä, niihin kuitenkin viitattiin vähemmän kuin aikakauslehtiartikkeleihin. Ainakin viittauksia konferenssipapereihin löytyi käyttämistämme tietokannoista vähemmän kuin viittauksia tieteellisiin artikkeleihin. Kansainväliset vertaisarvioidut konferessijulkaisut saivat 407 viittausta, kun taas kansainväliset vertaisarvioidut lehtiartikkelit saivat 755 viittausta. Jos meillä olisi ollut käytössämme WoS-tietokannan Conference proceedings-lisenssi, olisimme ehkä saaneet jonkin verran enemmän konferenssiviittauksia.

Lopuksi

Kaiken kaikkiaan bibliometrisen analyysin tekeminen oli opettavainen ja mielenkiintoinen projekti. Teimme kaiken käsityönä, mitä ei koko yliopiston kokoisissa analyyseissa voi tehdä. Toisaalta opimme samalla tietokannoista, niiden katteesta ja ominaisuuksista enemmän kuin automatisoidussa analyysissa olisi ollut mahdollista. Nyt tiedämme, että eri tietokantojen viittauslukuja ei kannata yhdistää. Tiedämme myös, että Google Scholar on bibliometrisessa analyysissa hankala ja työläs tiedonlähde, mutta kyllä sitä on mahdollista käyttää.

Projektin huipentuma oli, kun pääsimme esittelemään tuloksiamme ja pohdintojamme pohjoismaiseen bibliometriikkaseminaariin alan muiden toimijoiden joukkoon.  Mukana oli tieteentutkijoita, informaatiotieteilijöitä, kirjastoväkeä ja eri tietokantojen edustajia.

Tästä on kirjastossa hyvä jatkaa kohti yliopiston tutkimuksen arviointia ja siinä vaadittavia tehtäviä.

Teksti:
Eija Poteri
Osastonjohtaja, tietopalveluosasto (31.8.2012 asti)
Merja Hyödynmaa
Informaatikko, tietokantaosasto
Saija Tapio
Informaatikko, tietopalveluosasto
Heli Vanamo
Kirjastonhoitaja, verkkopalvelut

Lähteet:
Forsman, Maria (2011). Kuinka arvioida humanistis-yhteiskuntatieteellistä tutkimusta. Verkkari 3/2011.

Harzing, Anne-Wil K. & van der Val, Ron (2008). Google Scholar as a new source for citation analysis. Ethics in Science and Environmental Politics 8(1), s. 61-73. (Viitattu 9.11.2012)

Julkaisufoorumi (2012). (Viitattu 6.11.2012).

Meho, Lokman I. & Yang, Kiduk (2007). Impact of data sources on citation counts and rankings of LIS faculty. Web of Science versus Scopus and Google Scholar. Journal of the American Society for Information Science and Technology 58(13), s. 2105-2125.

Opetusministeriön julkaisutyyppiluokittelu. Käsikirja 2010. (Viitattu 9.11.2012)

Pirkanmaan sairaanhoitopiiri (2012). Mitä tarkoittavat Impact Factorit, EVO-pisteet ja JCR? (Viitattu 6.11.2012).