Yliopistologo

FL Roope Raisamon tietojenkäsittelyopin alaan kuuluva väitöskirja

Multimodal Human-Computer Interaction: a constructive and empirical study (Multimodaalinen ihmisen ja tietokoneen vuorovaikutus: konstruktiivinen ja empiirinen tutkimus)

tarkastetaan 7.12.1999 klo 12 Tampereen yliopiston Pinnin kiinteistön Paavo Koli -salissa, osoitteessa Kehruukoulunkatu 1.

Vastaväittäjänä on professori Scott MacKenzie (York University, Canada). Kustoksena toimii professori Kari-Jouko Räihä.

***

Raisamo on syntynyt Nokialla 17.8.1971. Hän on suorittanut ylioppilastutkinnon Nokian lukiossa 1990. Raisamo valmistui filosofian lisensiaatiksi 1997 Tampereen yliopistosta. Raisamo on toiminut sivutoimisena tuntiopettajana Tampereen yliopiston tietojenkäsittelyopin laitoksella 1993-1998, tutkimusapulaisena Tampereen yliopiston matemaattisten tieteiden laitoksella vuonna 1994, tutkimusharjoittelijana Tampereen yliopiston tietojenkäsittelyopin laitoksella vuonna 1994, tutkijana Tampereen yliopiston tietojenkäsittelyopin laitoksella 1995-1998 sekä Tampereen yliopiston tietojenkäsittelyopin professorina vuodesta 1998 alkaen.

Raisamon väitöskirja ilmestyy Tietojenkäsittelyopin laitoksen julkaisusarjassa A (Numero: A-1999-13), ISBN: 951-44-4688-7, ISSN: 0783-6910. Ilmestyy myös sähköisenä sarjassa Acta Electronica Universitatis Tamperensis; 5, Tampereen yliopisto 1999. ISBN 951-44-4702-6, ISSN: 1456-954X.

Lisätietoja: Roope Raisamo, (03) 215 7056 (työ), (03) 2616 952 (koti), rr@cs.uta.fi, http://www.cs.uta.fi/~rr/

 

TIIVISTELMÄ

Ihmisen ja tietokoneen vuorovaikutus on noussut päättymässä olevan vuosikymmenen aikana tärkeäksi osaksi tietojenkäsittelytieteiden tutkimusta. Alan tutkimus vaatii tietoja monilta eri tieteenaloilta. Vaikka tietokonetekniikan kehitys on ollut jo pitkään hyvin nopeaa, samaan aikaan vuorovaikutus tietokoneen kanssa on kehittynyt yllättävän vähän ja hitaasti. Useimmat tietokoneiden käyttäjät ovat tottuneet ohjaamaan konettaan näppäimistöllä, ja hiiri on mukana kaikissa nykyaikaisissa tietokonepaketeissa. Tekniikan kehittyminen on tehnyt mahdolliseksi aiempaa monipuolisemmat vuorovaikutustavat, mutta tietomme niiden sovellettavuudesta ovat vielä hyvin vähäiset.

Väitöskirjani aiheena on multimodaalinen ihmisen ja tietokoneen vuorovaikutus. Multimodaalinen käyttöliittymä tarkoittaa yleensä sellaista tietokoneen käyttöliittymää, jossa käytetään rinnakkain useita erilaisia syöttötapoja saman tehtävän suorittamiseen. Yksinkertainen esimerkki näistä käyttöliittymistä on puheohjaukseen perustuva sovellus, jossa toiminnan kohde valitaan karttakuvasta osoittamalla sitä sormella. Multimodaalisen käyttöliittymän erikoistapauksena voidaan pitää käyttöliittymää, jota ohjataan samanaikaisesti molemmilla käsillä. Tällöin puhutaan kaksikätisestä käyttöliittymästä.

Olen tutkinut multimodaalisia käyttöliittymiä konstruktiivisen tutkimuksen avulla. Tutkimustani edeltävästä työstä olen esittänyt tietojenkäsittelytieteiden omien tulosten lisäksi myös niitä psykologian teorioita ja empiirisiä tuloksia, joista on apua multimodaalisten järjestelmien suunnittelussa. Iteratiivista ohjelmistokehitystä käyttäen olen toteuttanut kaksi prototyyppijärjestelmää, jotka molemmat ovat käyttöliittymältään multimodaalisia. Ensimmäinen järjestelmä on piirrosohjelma, jonka uusia työkaluja ohjataan molemmilla käsillä. Toinen järjestelmä on informaatiokioski, joka tunnistaa puhetta ja näytön koskettamiseen perustuvia eleitä.

Pelkkä järjestelmien rakentaminen ei kuitenkaan vielä anna tietoa niiden toimivuudesta. Tämän vuoksi tutkimuksessani on myös empiirinen näkökulma. Prototyyppijärjestelmien toimivuutta on testattu käytettävyyslaboratoriossa vapaaehtoisten koekäyttäjien avulla, ja testeistä kuvatut videonauhat on analysoitu ongelmakohtien löytämiseksi sekä esittämieni uusien vuorovaikutustapojen vertailemiseksi nykyisin tapoihin.

Tutkimukseni tärkeimpänä tuloksena ovat uudet vuorovaikutustekniikat, jotka on pyritty toteuttamaan siten, että ne vastaavat paremmin sitä todellista tehtävää, jota tietokoneen käyttäjä on tekemässä. Nämä tekniikat on toteutettu osana multimodaalista prototyyppiä ja ovat toiminnaltaan multimodaalisia. Tekniikoiden toimivuutta arvioitaessa on saatu empiirisiä tuloksia kaksikätisistä käyttöliittymistä, kosketusnäytön käytöstä ja nykyisten käyttöliittymien heikkouksista.

Ensimmäisen prototyypin tekniikoilla on monia käyttökohteita kaavionpiirto-ohjelmissa ja tavallisissa oliopohjaisissa piirrosohjelmissa. Tekniikat eivät vaadi käyttämään toista ohjauslaitetta, mutta hyötyvät siitä. Toisen prototyypin tekniikat soveltuvat erityisesti julkisiin informaatiokioskeihin, joista haetaan nopeasti tietoa esimerkiksi kaupungin nähtävyyksistä. Molempien järjestelmien pohjalta on kehitteillä jatkoprojekteja, joissa multimodaalisuutta ja kehittämiäni vuorovaikutustapoja sovelletaan uusiin käyttökohteisiin.


Väitökset    Tampereen yliopiston kirjasto   Tampereen yliopisto