Net promoter score on huono idea

Net promoter score, NPS on uusi tapa yrittää tulkita asiakastyytyväisyysmittausten tuloksia.  Siinä kysytään suosittelisitko palvelua ystävällesi. Skaalana on 0-10 ja näistä 9-10 tulkitaan suosittelijoiksi, 7-8 neutraaleiksi ja 0-6 arvostelijoiksi. NPS saadaan vähentämällä arvostelijoiden prosenttiosuus suosittelijoiden osuudesta.

Mittarissa on monta puutetta. Ensinnäkin se olettaa että asteikon tulkinta on samanlaista kaikkialla. Suomessa meillä on monille tuttu kouluarvosana, eikä ole ollenkaan varmaa kokevatko vastaajat arvon 7 neutraaliksi. Toinen puute on se, että kaava hukkaa paljon informaatiota. Tarkat arvosanat menetetään ja jäljelle jää vain kolme vaihtoehtoa.

Kolmas vika on siinä, että NPS on epästabiili, erityisesti pienillä aineistoilla. Vaikka vastausten keskiarvo on sama, voi NPS vaihdella paljon. Alla olevassa kuvassa molempien jakaumien keskiarvo on sama, mutta NPS on toisella kaksinkertainen. Ei ole lainkaan selvää, kumpi jakaumista olisi ”parempi”. Sen sijaan että kiittelee sinisen aineiston hyvää NPS lukua, pitäisi selvittää miksi siellä on noin paljon huonoja arvosanoja.

nps

Vastaavasti keskiarvo voi vaihdella suuresti, vaikka NPS on sama. Esim 50% NPS arvon saa keskiarvoilla 9,0 ja 7,5.

Neljäs vika on itse kysymyksessä. Se sopii hyvin lomakohteeseen, ihmisillä on tapana suositella lomakohteita toisille. Toisaalta on olemassa palveluja, jotka kaikki tuntevat ja joiden suositteleminen tuntuisi luonnottomalta. Suosittelisitko Alkoa ystävällesi? Olen joskus vastannut tuollaiseen kysymykseen: ei missään tapauksessa, vaikka pidin palvelua erinomaisena.

Palvelun jonkin osan suosittelu tarkoittaa implisiittisesti itse palvelun suosittelua, jolloin se voi sotkea tuloksia. Yksi vastaaja saattaa ajatella, että vaikka kokonaispalvelu oli huono, suosittelisin tätä osaa. Toinen taas ajattelee, että vaikka tämä osa on loistava, en voi suositella koska kokonaispalvelu oli heikkoa.

Mielestäni NPS on vain yksi esimerkki huonoista tutkimusmenetelmistä, joita näkee liian usein. Erilaisten kyselytutkimusten tekeminen on helppoa ja sen takia niitä tekevät ihmiset, jotka eivät ymmärrä mitä ovat tekemässä.  Valitettavasti päättäjät eivät myöskään näytä osaavan erottaa hyvää tutkimusta huonosta. Siksi kai tällainen NPS:n tyyppinen tavara näyttää myyvän.

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s

%d bloggers like this: