Katse juuttuu outoon kohtaan

Julkaistu 18.11.2016 - 15:21
Heinäpaalit-kimchi
Heinän kuivaaminen seipäällä oli outo asia korealaisille. Suomalaiset taas eivät tunnistaneet korealaista perinneruokaa. Alkuperäiskuvien oikealla puolella heatmap-kuvat, joihin on merkitty suomalaisten ja korealaisten katsomisen erot (suomalaiset katsoivat enemmän punaisella ja korealaiset vihreällä alueella) ensimmäisen kahden sekunnin ajalta. Äärimmäisenä oikealla kuvat joissa samalle datalle on laskettu t-testi. Alueet joissa p<0.01 on korostettu värillä.

Tutkijat etsivät havainnon jälkeistä oivaltamisen hetkeä mutta löysivätkin sen kääntöpuolen

Poika Isokoski/ Kuva: Jonne Renvall
– Se että ei ymmärretä mitä nähdään, on helpompi mitata kuin se että ymmärretään, sanoo tutkija Poika Isokoski. Kuva: Jonne Renvall

Piti löytää se hetki, jolloin ihminen tunnistaa katsomansa asian, mutta löytyikin aivan muuta. Koetilanteissa ihmisen katse juuttui siihen kohteeseen, jonka merkitystä hän ei tunnistanut.

Visuaalisen journalismin professorin Janne Seppäsen vetämän Suomen Akatemian Mieli-ohjelman Mind, picture, image -projektin kunnianhimoisena tavoitteena oli  rakentaa kuvajournalismin, tietojenkäsittelyn ja havaintopsykologian lähtökohdista kokonaiskuva siitä, miten ihminen kuvan ymmärtää.

Osana projektia tutkija Poika Isokoski kiinnostui siitä, voidaanko rakentaa tietokoneohjelmia, jotka ymmärtävät ihmistä. Tampereen yliopistossa on jo vuosien kokemus katsekäyttöliittymistä. Nyt tavoitteena oli tehdä katseen liikkeen avulla päätelmiä siitä, miten ihminen ymmärtää katsomansa.

– Ajattelimme, että kun ihminen katsoo kuvaa, niin jossakin kohtaa napsahtaa, että nyt tiedän, mistä tässä on kysymys. Haluttiin selvittää, löytyykö katsedatasta näitä tilanteita ja jos löytyy, niin millaisista merkeistä ne tunnistaa. Kulttuurierot ovat meille väline rakentaa koeasetelma, jossa joillekin henkilöille on ja toisille ei ole näitä oivalluksen mahdollisuuksia, Isokoski kertoo.

Katseet leviävät
kuin varpusparvi

Koeasetelmassa oli kahdeksan suomalaista ja kahdeksan korealaista. Heille näytettiin kuvapareja, joista toinen oli Koreasta ja toinen Suomesta. Mukana oli kuvia kummankin maan urheilulajeista, entisistä presidenteistä ja tunnetuista rakennuksista. Oli myös kuvapari tunnettuja henkilöitä sisältävistä mainoksista ja perinne-aktiviteeteistä.

Koehenkilöiden piti kuvailla näkemänsä ja kirjoittaa havaintonsa kuvan alle. Näppäimistön painallukset ja silmän liikkeet tallentuivat myöhemmin analysoitaviksi.

– Kun tähän vaiheeseen päästiin, niin alkoi selvitä, että ei tämä ollutkaan niin helppoa. Iso osa katseista oli tekstissä, ja katsomis- ja kirjoittamisjärjestyksessäkin oli eroja, Poika Isokoski kertoo.

Koehenkilöt eivät kirjoittaneet näkemäänsä välittömästi. Sen sijaan he katsoivat ensin kuvaa ja kirjoittivat tekstiin useampia asioita yhdellä kertaa. Sanaa edeltävä katseen kohde olikin usein toinen sana eikä sanan merkitykseen liittyvä kohde kuvassa.

Ruudulta katsottuna katseet käyttäytyvät ”kuin varpusparvi”. Koehenkilöiden katseet leviävät eri puolille kuvaa jo muutamassa sekunnissa. Näin katsottuna tuloksista oli vaikea päätellä yhtään mitään.

Eroja kuitenkin löytyy, kun katseita esittävät kuvat jaotellaan suomalaisten ja korealaisten ryhmiin ja lasketaan ryhmien erot halutuissa aikaikkunoissa.

– Se olikin oikein juhlapäivä, kun ensimmäiset laskelmat valmistuivat. Vasta jälkeenpäin selvisi, että vastaavat laskentamenetelmät oli kehitetty jo aikaisemmin ja laajalti käytössä mm. aivojen toiminnan kuvantamisessa, Isokoski sanoo.

Korealainen ei
tunne heinäseivästä

Tuloksista kävi ilmi, että ryhmien erot syntyivät tilanteista, joissa toisen katsojaryhmän katse viipyilee enemmän kuin toisen. Sekä suomalaisten että korealaisten katseet olivat tyypillisesti juuttuneet niihin kohteisiin, joita he eivät kulttuurierojen vuoksi tunnistaneet.

Suomalaisten katse oli juuttunut korealaisen perinneruuan kimchin valmistusta esittävässä kuvassa kimchi-vatiin, koska he eivät tienneet kimchin nimeä ja joutuivat siksi miettimään pitkään, miten kuvata sitä tekstissään.

Korealaisten katse viipyi heinäseipäässä. Jotkut epäilivät sitä puuksi.

– Hienosti löytyivät erot, mutta just väärin päin. Me halusimme löytää sen, milloin se napsahtaa se merkitys mieleen, mutta tällä menetelmällä löytyy lähinnä sellaisia tilanteita, missä sitä ei tule, Isokoski harmittelee.

Katseen viipyily ymmärtämisongelmien kohdalla on tuttu asia tekstin lukemisen yhteydessä. Kun katse pysähtyy vieraskielistä tekstiä luettaessa, voidaan päätellä, että lukemisprosessissa on ongelma. Syynä voi olla outo sana tai rakenne.

– Meillä tehtiin jo 2000-luvun alussa systeemi, joka yritti auttaa pompauttamalla tekstin viereen digitaalisen sanakirjan kuvauksen ongelmallisesta sanasta. Kuvan katsomiseen ei tällaista sovellusta ole, mutta joskus voi olla. Kuvia ymmärtäviä ja luokittelevia järjestelmiä tutkitaan maailmalla kiivaasti.

Se voidaan mitata
mitä ei ymmärretä

– Se että ei ymmärretä mitä nähdään, on helpompi mitata kuin se että ymmärretään. Toisaalta nämä katsomistehtävään liittyvät kognitiiviset ongelmat dominoivat siinä katsedatassa. Hienovaraisemmat kulttuurilliset katsomistapojen erot hautautuvat näiden alle, Poika Isokoksi sanoo.

Auttaako tämä tieto tutkimushanketta eteenpäin?

– Kyllähän tämä auttaa siten, että tulipahan nyt testattua tämä katsomisen ja kirjoittamisen menetelmä, mitä sillä saadaan irti näistä jutuista, Isokoski sanoo.

Katsedatasta voidaan kaivaa esiin paljon muutakin kuin katsojalle vieraat kohteet. Kuvan katsomisesta tiedetään ainakin se, että ensin katsoja luo yleissilmäyksen ja keskittyy sen jälkeen yksityiskohtiin. Näiden katsomistapojen välillä on eroja esimerkiksi silmänliikkeiden pituuksissa ja silmän paikallaan pysymän ajan pituudessa.

– Tästä meidän datasta on vielä katsomatta, tuleeko näiden viipyilyiden aikana vielä jotain vastaavia eroja. Se tässä oli tavoitteenakin, että saadaan laskentamenetelmät, jolla datasta voidaan seuloa kiinnostavia pätkiä jatkoanalyysiin. Jos jotain näyttää löytyvän, niin se otetaan sitten hypoteesina ja verifioidaan erillisessä kokeessa.

Tutijat oppivat nyt sen, että tällaiset pitkät katsomissessiot eivät toimi kovin hyvin edes aikaleimallisella tekstillä höystettynä, koska  tekstin tuottamisprosessi on kuitenkin osin irrallaan kuvan katsomisesta. Kun ne ovat tarpeeksi eri tahdissa, niin  katsedata ei enää kerro mitään kovin mielenkiintoista, koska katsomisen ja sanan kirjoittamisen ajallinen yhteys heikkenee.

– Kun ihmiset ovat eritahtisia, niin sieltä kymmenen sekunnin jälkeen ei enää löydy tällaisia hotspotteja, joihin lähes kaikki suomalaiset ja kaikki korealaiset katsoisivat edes suunnilleen samaan aikaan.

Oivalluksen hetki
odottaa löytäjäänsä

Poika Isokoski uskoo, että koeasetelmasta ja aineistosta saadaan vielä kaivettu uutta, kenties senkin kohdan, jossa se tuttu heinäseiväs iskeytyy mieleen suomalaiselle. Nyt se oivalluksen hetki näytti menevän niin nopeasti, ettei siitä jäänyt katsedataan jälkiä analysoitavaksi.

Yksi vaihtoehto, jota maailmalla on käytetty, on kirjoittamisen sijasta nauhoittaa puhe siten, että koehenkilö kertoo heti mitä hän kuvassa näkee. Menetelmä on käsin tehtävän puheen analysoinnin vuoksi työläs ja aikaa vievä eikä siksi mahdollista monien kuvien tai kovin monien katsojien datan analysointia.

Mielessä on kokonaan uusia tutkimusasetelmia. Nyt kirjoittaminen dominoi niin, että katsomistehtävän sijasta koe olikin kirjoitustehtävä, johon liittyi kuva.

Yksi uusi vaihtoehto olisi arvioida laajemmin kuvan valinnan ja tekstin kirjoittamisen prosessia.

Teksti: Heikki Laurinolli