Normalisoinnin (perusmuotoistamisen ja stemmauksen) etuja ja haittoja

Perusmuotoistamisesta ja stemmauksesta (joita kutsutaan yhteisellä nimellä normalisointimenetelmät tai reduktiiviset menetelmät) voi olla sekä etua että haittaa tiedonhaussa.

Etuja

• Hakijan ei tarvitse välittää sanojen taipumisesta eikä huolehtia hakusanojen katkaisemisesta
• Hakemiston tarvitsema muistitilan koko pienenee
• Hakutulokset saattavat parantua

Haittoja

• Monitulkintaisuus lisääntyy, minkä vuoksi hakutulokset saattavat heikentyä. Ratkaisuna tähän on sanaluokka-disambiguointi eli monitulkintaisuuden karsinta sanaluokkien automaattisen tunnistamisen perusteella.

  Esimerkkinä suomen sananmuodot kuuden ja kuusen: perusmuotoistuksessa syntyy hakemistoon näille sama perusmuoto, kuusi, joka on polyseeminen.

  Muoto voin: hakemistoon tulee perusmuodot voida ja voi. Tekstikontekstin kannalta vain toinen näistä on oikea kulloinkin hakutilanteessa.

• Lemmatoitu indeksi saattaa sisältää myös taipuneita sanoja (leksikon ulkopuoliset sanat). Haku saattaa tällöin epäonnistua.

Eri menetelmien käyttökelpoisuus eri kielille on koottu tiivistetysti seuraavaan taulukkoon. Taulukossa on myös mainittu tekstitietokannan indeksityyppi. Kielten taipumista pitää ajatella jatkumona, jonka toisessa päässä ovat heikosti taipuvat kielet (kuten englanti) ja toisessa päässä vahvasti taipuvat kielet (suomi, turkki jne.)