Markus Kaakinen

Markus.kaakinen@uta.fi

Internetpohjaiset oppimisympäristöt

Raportti 1

 

 

 

 

Oppimisanalytiikan käyttö arvioinnin tukena wiki-ympäristöissä

 

 

1 Johdanto

 

Tieto- ja viestintäteknologia on yhä keskeisempi osa inhimillistä vuorovaikutusta ja yhteistoimintaa sekä yhteiskunnallisia rakenteita ja prosesseja. Alustayhteiskunnassa teknologiset ympäristöt tarjoavat uusia mahdollisuuksia ja toimintamalleja, jotka laajimmillaan muokkaavat ja uudistavat koulutuksen tai markkinoiden kaltaisia yhteiskunnan osajärjestelmiä. Koulutuksen näkökulmasta osallistumisen ja yhteisen tiedontuottamisen mahdollistavat virtuaaliset ympäristöt luovat uusia mahdollisuuksia ja haasteita pedagogiselle suunnittelulle (McLoughlin & Lee, 2008). Mahdollisuuksien tunnistaminen vaatiikin uudenlaista pedagogista ajattelua. Sosiaalisen median alustoilla oppiminen perustuu tiedon siirron ja oppimissisältöjen kuluttamisen sijaan (tai lisäksi) yhä enemmän verkostoihin, joiden kautta yksilöillä on pääsy erilaisten näkemysten, informaatiolähteiden ja yhteisen tiedontuotannon äärelle (McLoughlin & Lee, 2008; Paavola & Hakkarainen, 2005).

 

Yksi esimerkki osallistumisen ja yhteisen tiedontuotannon mahdollistavasta teknisestä sovelluksesta ovat wikit. Ne ovat hajautettuun sisällön tuottamiseen ja muokkaamiseen perustuvia online-tietokantoja, joita voidaan toteuttaa erilaisten sovellutusten avulla (Vuorinen, Kalalahti & Vilhula, 2011). Vaikka konkreettiset sovellukset voivat siis vaihdella, on wikeillä tiettyjä yhdistäviä perusominaisuuksia, kuten tiedon tuottamisen ja muokkaamisen avoimuus ja toisaalta keskitetty luonne (Woods & Thoeny, 2007). Avoimuus tarkoittaa, että sovelluksen käytön tulisi olla (verrattain) helppoa ja sen tulisi olla mahdollista kaikille. Toki sovelluksia on myös rajatummille joukoille esimerkiksi opetuskäytössä. Keskitetty luonne taas tarkoittaa sitä, että wikit ovat yhtenäisiä online-tietokantoja, jotka sijaitsevat tietyssä paikassa.  Myös tieto aikaisemmista muokkauksista tulisi olla kaikkien saatavilla. (Vuorinen et al., 2011; Woods & Thoeny, 2007.) Näiden perusominaisuuksien lisäksi erilaiset wiki-sovellukset tarjoavat usein monenlaisia osallistujien välistä vuorovaikutusta tukevia työkaluja (Vuorinen et al., 2011).

 

Kuten sanottu verkostoissa ja yhteisöalustoilla tapahtuvassa oppimisessa pedagogisen ajattelun ja työkalupakin on kyettävä mukautumaan uusiin mahdollisuuksiin ja haasteisiin. Esimerkiksi oppimisen arviointi wiki-ympäristössä voi olla haastavaa, kun vuorovaikutusketjut ja tuotetut aineistot ovat usein valtavia ja perustuvat isoon määrään yksittäisiä kontribuutioita. Tällaisissa tapauksissa arviointi voikin hyötyä oppimisanalytiikasta. Oppimisanalytiikalla tarkoitetaan oppimisalustojen keräämän datan hyödyntämistä pedagogisten prosessien analysoinnissa (Buckingham Shum & Ferguson, 2012). Analytiikka edellyttää niin sanottua tiedonlouhintaa eli laskennallisia menetelmien hyödyntämistä olennaisten piirteiden ja säännönmukaisuuksien etsimisessä suurista tietomassoista (kts. Patel, 2003). Oppimisanalytiikan käyttö ei ilmeisistä mahdollisuuksistaan huolimatta ole ongelmatonta, ja sen käyttöön liittyykin erilaisia eettisiä ja pedagogisia haasteita.

 

Tässä esitelmässä pyrin tarkastelemaan lähemmin sitä, miten ja millaisin ehdoin oppimisanalytiikka voidaan hyödyntää yhteisöllisten oppimisprosessien arvioinnissa wiki-sovellusten yhteydessä. Seuraavaksi käsittelen oppimista ja sen arviointia teoreettisesta näkökulmasta. Tämän osion lopuksi pohdin erityisesti arvioinnin merkitystä pedagogisessa prosessissa linjakkaan opetuksen näkökulmasta. Sitten pohdin raportin aihetta kurssilla käymämme verkkokeskustelun ja kahden tutkimusesimerkin kautta. Lopuksi vedän yhteen käsittelystä nousseet keskeiset johtopäätökset.

 

2 Oppiminen ja sen arviointi

 

Oppiminen on monimutkainen ja -tulkintainen ilmiö, vaikka se usein arjen pedagogisissa tilanteissa saattaakin näyttäytyä itsestään selvänä tavoitteena. Itse asiassa se, miten oppimisen ymmärrämme muokkaa voimakkaasti arkisia pedagogisia arvioita ja asetelmia. Tässä luvussa tarkastelen sitä, miten oppiminen voidaan käsitteellistää sosiaalisena ilmiönä ja kuinka ymmärrys oppimisesta ohjaa opetuksen suunnittelua ja opitun arviointia.

 

 

2.1 Oppimisen teoria ja oppimiskäsitys

 

Kuten inhimillistä toimintaa yleensä, voidaan oppimista tarkastella usean eri teoreettisen viitekehyksen kautta. Behavioristinen oppimisteoria korostaa esimerkiksi toistojen merkitystä käyttäytymisen muutoksessa. Kognitivistinen (tai kognitiiviinen konstruktionsimi) taas asettaa pääpainon yksilön ajattelun ja tietorakenteiden muutokselle (Stewart, 2012). Näitä kahta varsin erilaista oppimisteoreettista suuntausta yhdistää se, että oppimista käsitellään lähinnä yksilöllisenä prosessina.

 

Vuorovaikutuksen ja yhteistoiminnan merkitystä korostavan sosiokonstruktivistisen oppimiskäsityksen mukaan oppimista tapahtuu kuitenkin myös ryhmissä (Nevgi & Lindblom-Ylänne, 2009). Keskeisiä käsitteitä ovat tilannesidonnainen ja autenttinen oppiminen, joiden mukaan oppimisen kautta syntynyttä osaamista tulisi pystyä hyödyntämään myös aidoissa tilanteissa. Sosiokonstruktivistinen oppimiskäsitys näkyy esimerkiksi yhteistoiminnallisen oppimisen menetelmien takana. Yhteistoiminnallinen oppiminen on pedagoginen menetelmäperhe, jossa ryhmien sisäinen vuorovaikutus ja yhteistoiminta valjastetaan oppimisen tueksi (Repo-Kaarento, 2009). Keskeistä on, että opiskelijoiden muodostamien ryhmien jäsenet ovat positiivisesti riippuvaisia toisistaan ja samalla myös yksilöllisesti vastuussa oppimisprosessista.  Yhteistoiminnallista oppimista voidaan hyödyntää opetuksessa monin eri tavoin, mutta olennaista on, että opiskelijat jaetaan pieniin ryhmiin, joiden kautta jäsenet osallistuvat itse oppimiseen ja opettamiseen yhteistyössä opettajan kanssa.  

 

Sähköiset oppimisympäristöt tarjoavat paljon työkaluja sosiokonstruktivistiseen oppimiseen ja yhteistoiminnallisen oppimismenetelmien toteutukseen. Nämä elementit ovat ehkä selkeimmin läsnä juuri wikeissä, joissa oppiminen perustuu yhteiseen sisältöjen tuottamiseen ja muokkaamiseen. Yhteinen sisällön tuottaminen tukee kognitiivisia ja sosiaalisia oppimisprosesseja mutta myös kehittää kirjoittamiseen, reflektioon, tiedon jakamiseen ja kriittiseen ajatteluun liittyviä taitoja (Trentin, 2008).

 

2.2 Oppimiskäsitys ja linjakas opetus

 

Yksi hyvä opetuksen keskeinen ominaisuus on linjakkuus eli se, että opetuksen kokonaisuuden osatekijät kuten opetuksen suunnittelu, opetetut sisällöt, opintosuoritukset ja arviointi ovat loogisessa suhteessa toisiinsa (Lindblom & Nevgi, 2009). Näin oppimisprosessi on parhaimmillaan opiskelijoiden kannalta mielekäs, reilu ja sitouttava. John Biggsin (1996 & 2011) mukaan konstruktiivisesti linjakas opetus on suunniteltu niin, että kaikki opetuksen osatekijät opetuksen suunnittelusta arviointiin tukevat syvällistä oppimista (Biggs, 1996 & 2011).

 

Nevgi ja Lindblom kuvaavat arviointia erityisen tärkeäksi opetuksen osatekijäksi, sillä se ohjaa vahvasti opiskelijoiden opiskelua ja oppimista (Lindblom & Nevgi, 2009). Heidän mukaansa opiskelijat pyrkivät menestymään ja siten yksipuoliset tai huonosti toimivat arviointimenetelmät voivat heikentää opetusta ja oppimista. Opettajan olisikin hyvä pohtia, tavoittavatko hänen arviointimenetelmänsä määrällistä vai laadullista oppimista (Ibid.). Määrälliseen oppimiseen keskittyvä arviointi lähestyy oppimista prosessina, jossa opiskelijan (tai ryhmän) tulee hallita mahdollisimman iso osa opetuksesta tarjotusta informaatiota. Laadullisessa arvioinnissa taas tarkastellaan sitä, miten ja millaista tietoa oppimisprosessissa on rakentunut.

 

Sähköiset oppimisympäristöt ja erityisesti wiki-sovellukset mahdollistavat hyvin erilaisia opetusasetelmia. Opettajan on kuitenkin eittämättä pysähdyttävä pohtimaan sitä, millaiseksi hän haluaa ohjata näiden sovellusten avulla tapahtuvia oppimisprosesseja. Ja kuten todettua, on arviointi ehkä oppimisen ja opiskeluprosessin ohjaamisen kannalta ehkä keskeisin yksittäinen opetuksen osakokonaisuus. Millaisia arviointimenetelmiä ja työkaluja opettajan siis tulisi hyödyntää, jos hän haluaa tukea ja arvioida yhteisöllisiä ja syvään oppimiseen tähtääviä oppimisprosesseja? Seuraavaksi pohdin tätä kysymystä hyödyntämällä kurssin aikana käytyjä verkkokeskusteluja ja tutkimuslähteitä.

 

3 Yhteenvetoa verkkokeskustelusta

 

Kurssin keskustelualueella käydyssä opiskelijoiden verkkokeskustelussa pohdittiin oppimisanalytiikan käyttöä arvioinnin tukena monesta eri näkökulmasta (kiitos vielä keskustelijoilla hyvistä kommenteista!). Keskeisiksi teemoiksi nousivat mahdollinen data, oppimisprosessin ja analytiikan välinen suhde, oppimisanalytiikan eettiset kysymykset.

 

Mahdollista dataa koskevassa keskustelussa pohdittiin sitä, millaisia jälkiä oppimisprosesseista jää sähköisissä ympäristöissä. Yksi ehkä eniten keskustelussa esiin noussut mahdollinen data oli aktiivisuus kurssialustalla, jota voitaisiin arvioida esimerkiksi käytettynä aikana tai tehtyjen suoritusten määränä. Toisaalta useammassa kommentissa korostettiin sitä, että arvioinnissa on tärkeää korostaa valmiita suorituksia kuten tuotettuja esseitä tai muita sisältöjä. Näin analytiikassa keskityttäisiin siihen, mitä kurssialustalla on saatu aikaan ja miten se suhteutuu kurssin oppimistavoitteisiin. Kolmas keskeinen alateema näissä keskusteluissa oli vuorovaikutusdatan analyysi. Tämän datan avulla voitaisiin tarkastella sitä, miten aktiivista tai tasokasta tietyn yksilön tai ryhmän vuorovaikutus on ollut. Tässä yhteydessä keskustelitiin kuitenkin myös siitä, että vuorovaikutuksen arvioinnissa osana arviointia on oltava harkitsevainen. Opiskelijoiden on syytä tietää tarkasti, mitä ja millä perustein vuorovaikutuksen määrää ja laatua arvioidaan. Lisäksi arviointi saattaa myös ohjata alustalla käytyä vuorovaikutusta. Pahimmillaan tietoisuus arvioinnista voi keskustelun mukaan tehdä vuorovaikutuksesta mekaanista.

 

Erittäin mielenkiintoista keskustelua käytiin myös siitä, millainen suhde oppimisanalytiikalla tulisi olla oppimistavoitteisiin ja oppimisprosesseihin. Useammassa kommentissa tuotiin esiin se, että analyyttisten välineiden tulee olla suhteessa eksplisiittisesti esiintuotuihin oppimistavoitteisiin. Toisin sanoen kerätyllä datalla ja sen analyysilla täytyy pystyä arvioimaan keskeisten oppimistavoitteiden saavuttamista (ja vain niitä). Lisäksi keskustelimme siitä, miten analytiikka tunnistaa erilaisia oppimisprosesseja. Jokainen oppija tarvitsee esimerkiksi yksilöllisen määrän aikaa oppimiseen. Näin esimerkiksi pelkän kurssialustalla vietetyn ajan mittaaminen ei välttämättä kerro itse oppimisesta mitään. Kommentoinneissa ehdotettiinkin, että oppimisanalytiikassa voitaisiin yhdistää esimerkiksi määrällisiä ja laadullisia lähestymistapoja ja arvioinnissa voitaisiin ottaa huomioon myös opiskelijoiden omia arvioita oppimisesta.

 

Verkkokeskustelun viimeisen viikon teemana olivat oppimisanalytiikan käyttöön liittyvät eettiset kysymykset. Tämä aihe poikikin useita arvokkaita näkökulmia. Mielestäni eettiset pohdintamme voidaan kiteyttää hyvin erään keskustelijan löytämästään lähteestä referoimiin neljään pääkohtaan: läpinäkyvyyteen, opiskelijan oikeuksiin tuottamaansa dataan, turvallisuuteen ja vastuuseen. Opiskelijan on siis tiedettävä, mitä dataa hänestä kerätään ja mihin sitä aiotaan käyttää. Tässäkin kohdin relevanttia on myös aikaisemmin keskusteltu analytiikan luonteva suhde opiskelijoille kerrottuihin oppimistavoitteisiin ja arviointiperusteisiin. Opettajan on myös hyvä pohtia sitä, mitkä ovat opiskelijan oikeudet hänestä kerättyyn dataan. Yhdessä kommentissa huomautettiin, että opiskelija voi kieltäytyä datan keruusta jättämällä kurssin väliin. Tämä on tietenkin yksi tapa kieltäytyä datan keruusta, mutta opiskelijoiden oikeuksien toteutuminen edellyttänee muitakin keinoja. Turvallisuuden ja vastuun näkökulumista keskeistä on muun muassa datan keruun tietoturva ja toisaalta opettajan vastuu huolehtia siitä, ettei dataa köytetä opiskelijoiden vastaisesti.

 

4 Analyyttisten työkalujen valinta ja hyödyntäminen

 

Seuraavaksi käsittelen kahden tutkimusesimerkin kautta sitä, millaisia välineitä oppimisanalytiikassa voidaan hyödyntää opiskelijoiden toiminnan ja oppimisprosessien arvioinnissa. Kumpikin tutkimusesimerkki keskittyy oppimisanalytiikan sovelluksiin wiki-ympäristöissä.

 

4.1 Yksilön panoksen arviointi yhteisöllisessä oppimistehtävässä

 

Wikit tarjoavat paljon uusia mahdollisuuksia täydentämään ja osin korvaamaan perinteistä opettajakeskeistä opetusta opiskelijoiden yhteistoimintaan perustuvalla oppimisella. Yksi tämän asetelman haaste on kuitenkin se, että opettajan täytyy ryhmän yhteisen tuotoksen ohella arvioida myös ryhmän yksittäisten jäsenten osuutta lopputulokseen. Tähän ongelmaan Trentin (2008) pyrki löytämään vastauksia tutkimuksessaan, joka käsittelee yksittäisten opiskelijoiden kontribuution arviointia yhteisöllisessä wikiin perustuvassa oppimistehtävässä oppimisanalytiikka hyödyntämällä.

 

Tapaustutkimus perustuu Turinin yliopistossa pidettyyn verkottuneen teknologian ja henkilöstöjohtamisen kurssiin, jossa opiskelijat saivat ryhmiin jaettuina tehtävän laatia tiiviitä kuvauksia opettajan antamista aiheista wiki-sovelluksen avulla. Yksittäiset kuvaukset saivat olla vain 20 riviä pitkiä. Opiskelijat saivat vähentää tiivistelmiin tarvittavia rivejä sopimalla eri aiheita yhdistävistä avainkäsitteistä, joiden määrittelyt linkattiin erikseen toisille wikisivuille. Näin syntyi hierarkkinen hyperlinkkien kokonaisuus, joka sai olla kolmen tason syvyinen (tiivistelmissä saatiin siis viitata avainkäsitteen omaan wiki-sivuun, josta voitiin puolestaan viitata vielä aiheita yhdistävään kolmannen tason kattokäsitteeseen). Lukijan näkökulmasta kyseessä oli alhaalta ylös rakennettu hyperteksti, jossa lukeminen aloitettiin kattokäsitteen perussivulta, ja lukeminen jatkui linkkien kautta ensin toisen tason käsitteisiin ja lopulta varsinaisiin tiivistelmiin.

 

Wiki-sivuston laatiminen sisälsi viis vaihetta: Ensin jokainen valmisteli itsenäisesti lyhyen ryhmätehtävän teemaan liittyvän kirjoitelman. Tämän jälkeen ryhmän jäsenet sopivat yhdessä wiki-sivuston rakenteesta ja toteuttamisesta. Kolmannessa vaiheessa, opiskelijat rakensivat yhteistä hypertekstiä toteuttamalla yhdessä sovitut vastuualueet. Seuraavassa vaiheessa opiskelijat tutustuivat hypertekstin muiden kirjoittamiin osioihin ja loivat linkkejä niiden ja omien tekstiensä välille. Viimeisessä viidennessä vaiheessa opiskelijat vertaisarvioivat wiki-sivuston kokonaisuutta ja toistensa kontribuutioita kirjoittamalla tekstiin kommentteja.

 

Lopulta ryhmien tuotoksia ja yksittäisten opiskelijoiden suorituksia arvioitiin oppimisen laadun, yhteisöllisten tuotosten tason ja vuorovaikutuksen laadun näkökulmista hyödyntämällä verkkovuorovaikutuksesta, wikityökalujen käytöstä ja vertaisarvioinneista kertynyttä dataa. Yksilöiden oppimisen laatua arvioitiin laadittujen wiki-tekstien ja lisättyjen käsitelinkkien sekä tekstin laadinnan aikana kirjoitettujen kommenttien ja vertaispalautteiden avulla. Ryhmän tuotoksen tasoa taas arvioitiin sen perusteella, miten hyvin hyperteksti vastasi asetettuja tavoitteita. Lisäksi arviotiin esimerkiksi kokonaisuuden yhdenmukaisuutta sekä käsitteellistä kattavuutta, rakennetta ja tarkkuutta. Vuorovaikutuksen näkökulmasta arvioitiin opiskelijoiden osallistumista ryhmän vuorovaikutukseen yhteistyön eri vaiheissa.

 

Arvioinnin tueksi kehitettiin mittareita yksilöllisen kontribuution ja ryhmän toiminnan analysointiin. Yksilöllisen kontribuution mittarit arvioivat panosta a) ryhmän vuorovaikutukseen työn suunnitteluvaiheessa b) ryhmän sisäiseen vertaisarviointiin c) wiki-sivuston sisäisten yhteyksien luomiseen d) sisällön tuottamiseen. Kontribuutiota ryhmän vuorovaikutukseen suunnitteluvaiheessa mitattiin luokittelemalla yksilön lähettämät viestit sisältöä tuottaviin, koordinoiviin ja muihin viesteihin ja sitten laskemalla yhteen erityyppiset viestit. Lopullista mittaria painotettiin siten, että sisältöä tuottavat viestit saivat eniten painoarvoa (kerroin 3) ja koordinoivat viestit toiseksi eniten (kerroin 1,5). Vähiten painoarvoa annettiin kategoriaan ”muut” luokitellut viestit (kerroin 0,5). Kontribuutiota vertaisarviointiin mitattiin siten, että ensin jokainen ryhmän jäsen arvioin saamiensa vertaisarviointikommenttien hyödyllisyyden (asteikolla 0-5). Tämän jälkeen kunkin jäsenen kontribuutioarvo laskettiin hänen antamien kommenttien hyödyllisyyspisteiden keskiarvona. Kontribuutiota wiki-sivuston sisäisten yhteyksien rakentamiseen mitattiin yksilön sivustoon lisäämien linkkien (käsitteellisten yhteyksien luominen oman ja jonkun toisen jäsenen tuottaman wiki-sivun välille) yhteislukuna. Yksilön kontribuution sisällön tuottamiseen laskettiin hänen tuottamien sivujen ja tekstin merkkimäärien avulla. Kaikki nämä neljä mittaria normalisoitiin ryhmän sisälle niin, että yksittäisen ryhmän jäsenen pisteet suhteutuivat aina ryhmän korkeimpaan pistemäärään (esim. 55 pistettä viittaisi 55 prosenttiin ryhmän korkeimmasta pistemäärästä). Näin tuloksia ryhmien välillä ei voitu vertailla, mutta toisaalta eri mittarien tuottamat pisteet saatiin vertailukelpoisiksi. Lopulta kaikki neljä mittaria laskettiin yhteen kokonaisarvon saamiseksi. Kokonaisarvossa painotettiin enemmän kahta ensimmäistä mittaria, sillä ne ottivat määrällisten tekijöiden ohella huomioon myös laadullisia seikkoja.

 

Ryhmien toimintaa analysoitiin kolmen mittarin avulla: a) viestien jakautuminen suunnitteluvaiheessa b) vertaisvuorovaikutuksen kokonaistaso c) luodun wiki-sivuston sisäiset yhteydet. Viestien jakautumista suunnitteluvaiheessa arviointiin arvioitiin keskittyneisyysindeksin avulla (Mackenzie 1966). Keskittyneisyysindeksi kertoo sen, kuinka paljon vuorovaikutus on keskittynyt ryhmässä tiettyjen aktiivisten yksilöiden ympärille. Vertaisarvioinnin tasoa arvioitiin sen perusteella, miten ryhmässä yleisesti arvioitiin saatujen vertaisarviointikommenttien tasoa. Näin siis verrattiin sitä, kuinka hyödyllisiksi ja vähemmän hyödyllisiksi arvioidut kommentit jakaantuivat ryhmässä, eli olivatko esimerkiksi hyödylliseksi koetut vertaisarviointikommentit lähinnä tiettyjen kirjoittajien kirjoittamia. Luodun wiki-sivuston sisäisiä yhteyksiä arvioitiin sen perusteella, kuinka hyvin sivuston eri osasivut olivat linkitettyjä toisiinsa. Parhailla sivustoilla oli vain vähän sellaisia osasivuja, jotka olivat vain heikosti (jos lainkaan) linkitettynä muille sivuille. Hyvillä sivustoilla oli myös muita enemmän kahdensuuntaisia linkkejä.

 

 

4.2. Oppimistehtävän ja osallistumisen sisällöllinen analytiikka

 

Hecking ja Hoppe etsivät tutkimuksessaan analyyttisia keinoja wiki-tekstien käsitteellisten verkkojen analyysiin (Hecking, & Hoppe, 2015). Näillä keinoilla siis voidaan tarkastella sitä, millaisia käsitteitä tekstissä käytetään, ja miten nuo käsitteet yhdistyvät tekstissä toisiinsa. Esitelty tapaustutkimus perustui kognitio- mediatieteen kurssilla tehtyyn wiki-tehtävään. Tutkimuksen aineistona oli opiskelijoiden yksittäiset kontribuution wiki-sivustolla.

 

Käsiteverkostojen muodostaminen perustui viiteen erilliseen vaiheeseen. Ensimmäisessä vaiheessa teksti esiprosessoitiin, eli olennainen materiaali valittiin mukaan sopivassa muodossa (esim. lähteet poistettiin). Seuraavassa vaiheessa tekstistä tunnistettiin käsitteitä automaattiseen kielentunnistukseen suunniteltujen ohjelmistojen avulla. Kolmannessa vaiheessa yksittäisessä kontribuutiossa käytettyjä käsitteitä yhdistettiin toisiinsa niiden läheisyyden perusteella (esimerkiksi samassa virkkeessä olleiden käsitteiden välille luotiin sidos). Neljännessä vaiheessa käsitteet perusmuotoistettiin ja toisiaan tarpeeksi lähellä olevat käsitteet yhdistettiin. Lopulta käsiteverkosto luotiin lopullisten käsitteiden ja niiden välisten suhteiden perusteella.

 

Käsiteverkoston ominaisuuksien (esim. mitä käsitteitä käytettiin, ja mikä oli keskeisten käsitteiden keskinäinen suhde) lisäksi käsiteverkoston avulla oli mahdollista arvioida sitä, mikä oli jokaisen yksittäisen ryhmän jäsenen kontribuutio työn kokonaisuuteen. Artikkelissa tätä arvioitiin yksilöiden tekstiin tuottamien käsitteiden ja käsitteiden välisten yhteyksien keskeisyytenä. Käsitteiden keskeisyys laskettiin sen perusteella, kuinka moneen toiseen käsitteeseen se yhdistyi verkostossa. Lisäksi tässä otettiin huomioon se, kuinka keskeisiä nämä ”naapurikäsitteet” puolestaan olivat. Käsitteiden välisten yhteyksien keskeisyys taas arvioitiin sen perusteella, kuinka monen muun käsiteyhteyden kohdalla lyhin mahdollinen reitti kulkisi tämän yhteyden kautta (kuinka hyvä silta se oli eri tekstin osien välillä). Jokaisen kirjoittajan lisäämän käsitteen ja käsitteiden välisen yhteyden keskeisyys laskettiin ja niiden perusteella arvioitiin kirjoittajalle keskeisyys keskiarvo (erikseen käsitteille ja käsitteiden välisille yhteyksille). Korkea käsitteiden keskeisyyskeskiarvo siis kertoi siitä, että kirjoittaja oli tuonut tekstiin kokonaisuuden kannalta keskeisiä käsitteitä (eli esimerkiksi kirjoittanut tekstin keskeisimmät osuudet). Korkea käsitteisten välisten yhteyksien keskiarvo taas kertoi siitä, että kirjoittaja oli yhdistänyt toisiinsa keskeisiä käsitteitä ja luonut yhteyksiä tekstin eri osien välille (esim. kirjoittanut yhteen vetävää tekstiä).

 

4.3. Pohdintaa tutkimuksista

 

Trentinin tutkimuksessa esiteltiin kiinnostavia mittareita yksilön ja koko ryhmän panosten analysointiin. Ehkä mittarien validiteettia olisi voitu arvioida tutkimuksessa vielä kattavammin. Myös mittarien normalisoiminen ryhmän sisälle on pohdintaa vaativa valinta. Normalisoinnilla saavutettiin yhtenäinen skaala eri mittareille, mikä on tietysti perusedellytys kokonaisarvion muodostamiselle. Toisaalta normalisointitapa aiheuttaa tiettyjä ongelmia. Nyt ryhmän jäsenten saamat pisteet riippuvat paljon siitä, onko ryhmässä yksi erityisen aktiivinen jäsen. Jos yksi jäsen esimerkiksi kirjoittaisi valtaosan kommunikaation viesteistä, jäisi kaikkien muiden pistemäärä alhaiseksi, vaikka he olisivatkin olleet aktiivisia muiden ryhmien jäseniin nähden. Toisaalta valittu normalisointitapa estää vertailun ryhmien välillä.

 

Toisaalta edellä mainittujen ongelmien kannalta on olennaista se, että Trentin analysoi myös ryhmien suoritusta kokonaisuutena. Ehkä tämän analyysin avulla voitaisiin verrata myös eri ryhmissä olleita yksilöitä keskenään (esimerkiksi passiivisen ryhmän aktiivisin jäsen vrt. Aktiivisen ryhmän keskivertojäsen). Tosin Trentin ei tarjoa tähän vertailuun välineitä.

 

Lisäksi Trentinin tutkimuksessa käytettiin paljon manuaalisesti tehtyä laadullista koodausta, joka on mahdollisesti hyvä validiteetin kannalta, mutta lisää työmäärää. Näin tämä lähestymistapa voi osoittautua mahdottomaksi suurten aineistojen kohdalla. Trentin olisi myös voinut avata enemmän sitä, miten hänen luomansa mittarit olivat suhteessa kurssilla esitettyihin arviointiperiaatteisiin (oppimisen laadun, yhteisöllisten tuotosten tason ja vuorovaikutuksen laadun näkökulmat).

 

Heckingin ja Hoppen analyysissa mittarit muodostettiin täysin laskennallisesti, joten ne eivät olleet yhtä työläitä muodostaa kuin Trentinin esittelemät. Nämä jälkimmäisen tutkimuksen mittarit myös analysoivat ja visualisoivat kiinnostavasti ryhmän ja yksilöiden luoman sisällön semanttisia piirteitä ja käsitteiden välisiä yhteyksiä. Toisaalta tässä tutkimuksessa ei keskusteltu siitä, miten mittarit voitaisiin valjastaa käytännön arvioinnin tueksi.

5 Lopuksi

 

Tässä raportissa olen pohtinut sitä, miten oppimisanalyyttisiä työkaluja voidaan yhdistää wiki-sivustoja hyödyntävän opetuksen arvioinnin tukena. Lähdin pohdinnassani siitä, että työkalujen valinnan tulee lähteä sitä, millaiseksi kurssin oppimistavoitteet ja sen tukema oppimisprosessi hahmotetaan. Lähestyin oppimista tässä tehtävässä erityisesti sosiokonstruktivistisen oppimiskäsityksen ja yhteisöllisen oppimisen kautta. Näin myös valittavien arviointityökalujen olisi oltava sellaisia, jotka kykenevät erottamaan oppimisprosessien yhteisöllisen luonteen mutta toisaalta myös yksilöiden oman panoksen niiden takana.

 

Työssäni tarkastelin tutkimusesimerkkien kautta sitä, millaisia konkreettisia arviointityökaluja oppimisanalytiikan avulla voitaisiin muodostaa. Esitellyissä Trentinin sekä Heckingin ja Hoppen tutkimuksissa käsiteltiin kiinnostavia työkaluja sekä yhteistoiminnan että yksilöiden panoksen arviointiin. Toisaalta tutkimusesimerkit osoittivat sen, ettei analytiikan perustuva arviointi ole suinkaan ongelmatonta. Vaikka luodut välineet olisivat hyödyllisiä ja oivaltaviakin, tulee niiden ja opiskelijoille ilmoitettujen arviointiperiaatteiden väliseen yhteyteen kiinnittää erityistä huomiota. Vain näin oppimisanalytiikka voi olla osana linjakasta wiki-ympäristöihin perustuvaa opetusta.

 

6 Lähteet

 

Biggs, J. (2011). Enhancing teaching through constructive allignment. Higher education 32, 347-504.

 

Biggs, J. & Tang, C. (2011). Teaching according to how students learn. In J. Biggs & C. Tang, Teaching For Quality Learning At University. Open University Press, 16–30.

 

Buckingham Shum, S. & Ferguson, R. (2011). Social Learning Analytics. Educational Technology & Society, 15 (3), 3–26.

 

Hecking, T., & Hoppe, H.U. (2015). A Network Based Approach for the Visualization and Analysis of Collaboratively Edited Texts. CEUR Workshop Proceedings 1518, 19–23.

 

McLoughlin, C. & Lee, M. J. W. (2008) The Three P’s of Pedagogy for the Networked Society: Personalization, Participation, and Productivity. International Journal of Teaching and Learning in Higher Education, 20(1), 10–27.

 

Nevgi, Anne & Lindblom-Ylänne, Sari. (2009). Oppimisen teoriat. Lindblom-Ylänne ja Anne Nevgi (toim.) Yliopisto-opettajan käsikirja. Helsinki: WSOYpro. 280–299.

 

Paavola, S. & Hakkarainen, K. (2005) The Knowledge Creation Metaphor – An Emergent Epistemological Approach to Learning. Science & Education 14, (6), 535–557.

 

Patel, N. 15.062 Data Mining. Spring 2003. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

 

Repo-Saarento, Saara. (2009) Yhteistoiminnallinen oppiminen ja ryhmäopetus. Lindblom-Ylänne ja Anne Nevgi (toim.) Yliopisto-opettajan käsikirja. Helsinki: WSOYpro.

 

Rott, S., & Weber, E. D. (2013). Preparing students to use wiki software as a collaborative learning tool. CALICO Journal, 30(2), 179.

 

Stewart, M. 2012. Understanding Learning: Theories and Critique. In L. Hunt & D. Chalmers (eds.) University Teaching in Focus. London and New York: Routledge, 3–20.

 

Trentin, G. (2008) Using a wiki to evaluate individual contribution to a collaborative learning project. Journal of Computer Assisted Learning, 25, 43–55.

Vuorinen, M., Kalalahti, J., Vilhula, A. (2011). Wikiä käyttämään! Tukea wikin valintaan ja käyttöönottoon. Tampereen yliopisto, Informaatiotutkimuksen ja Interaktiivisen median laitos/yksikkö -TRIM Research Notes 3.

 

Woods, D. & Thoeny, P. (2007). Wikis for Dummies. Hoboken, NJ: Wiley Publishing Inc. (viitattu 14.11.2016) http://media.wiley.com/product_data/excerpt/97/04700439/0470043997.pdf