Tiedonhaun käyttäjävuorovaikutuksen simuloinnista ja evaluoinnista testikokoelmaympäristöissä

Towards simulating and evaluating user interaction in information retrieval using test collections (Tiedonhaun käyttäjävuorovaikutuksen simuloinnista ja evaluoinnista testikokoelmaympäristöissä)

Vastaväittäjänä on dr. Leif Azzopardi (Glasgowin yliopisto, U.K). Kustoksena toimii dosentti Ari Pirkola.

                                                ***

Heikki Keskustalo on suorittanut filosofian maisterin tutkinnon Tampereen yliopistossa. Hän on toiminut laboratorioinsinöörinä ja tutkijana vuodesta 1998 lähtien.

Keskustalon väitöskirja ilmestyy sarjassa Acta Universitatis Tamperensis; 1563, Tampere University Press, Tampere 2010. ISBN 978-951-44-8262-5, ISSN 1455-1616. Väitöskirja ilmestyy myös sähköisenä sarjassa Acta Electronica Universitatis Tamperensis; 1012, Tampereen yliopisto 2010. ISBN 978-951-44-8263-2, ISSN 1456-954X.
http://acta.uta.fi.

Väitöskirjan tilausosoite: Verkkokirjakauppa Granum, http://granum.uta.fi, tai Tiedekirjakauppa TAJU, PL 617, 33014 Tampereen yliopisto, puh. 040 190 9800, e-mail: taju@uta.fi.

Lisätietoja: Heikki Keskustalo, puh. 050 378 3066, ccheke@uta.fi

LEHDISTÖTIEDOTE

Tiedonhakua käsittelevässä väitöskirjassa tutkittiin tiedonhaun käyttäjävuorovaikutuksen simulointia ja evaluointia testikokoelmaympäristössä.

Tiedonhaun testikokoelmatutkimuksessa on perinteisesti vertailtu hakumenetelmiä tekemällä yksittäinen haku useista eri hakuaiheista ilman että hakijan vuorovaikutusta hakujärjestelmän kanssa mallinnetaan. Todellisuudessa tiedonhaku perustuu keskeisesti hakijan vuorovaikutukselle hakujärjestelmän kanssa. Väitöskirjassa tutkittiin kahta erilaista simuloitua vuorovaikutustyyppiä: käyttäjän antamaa relevanssipalautetta sekä hakulausekkeiden suoraa muotoilua.

Relevanssipalautteen simulaatioissa tarkasteltiin relevanssipalautteen laadun ja määrän vaikutusta haun tulokseen, kun alkuperäiseen hakulausekkeeseen lisättiin automaattisesti hakusanoja simuloidun hakijan osoittamista relevanteista dokumenteista olettaen eri vaatimuksia haettavien dokumenttien laadulle.

Hakulausekkeiden suoran muotoilun simulaatioissa tarkasteltiin tilanteita, joissa hakija muotoilee uudelleen hakulausekkeita käyttäen yksinkertaisia muotoilustrategioita. Tutkimuksessa simuloitiin kärsimättömiä hakijoita, jotka käyttävät lyhyiden kyselyiden sekvenssejä ja pitävät menestyskriteerinä yksittäisen relevantin dokumentin löytymistä.

Väitöskirjan kokeelliset tulokset osoittivat, että laadultaan vaihtelevan relevanssipalautteen hyväksyminen oli tehokkaampaa kuin pyrkimys hyväksyä vain parhaat dokumentit relevanssipalautteeksi. Lisäksi erittäin lyhyet kyselyt osoittautuivat sekvensseinä käytettyinä menestyksekkäiksi toisin kuin perinteisestä näkökulmasta tarkasteltuina.

Perinteinen yksittäisille aiheenmukaisille kyselyille pohjautuva tiedonhaun laboratoriomalli ei huomioi vuorovaikutusta, joka kuitenkin on tiedonhakujärjestelmien käytön olennainen piirre.  Väitöskirjassa esitetty käyttäjävuorovaikutuksen simulointi laajentaa testikokoelmapohjaista tiedonhaun tutkimusta kohti aiempaa tarkempaa käyttäjien mallintamista.