Mittarit ja tavoitteet

Kysely

Kysyin tavoitteista ja mittareista marraskuussa 2013.

Olen viime aikoina pohtinut it-palvelutoiminnan mittaamista. Haluaisin erityisesti tietää millaisia tavoitteita on asetettu, mutta olen kiinnostunut myös käytössä olevista mittareista, vaikka niille ei ole asetettu täsmällisiä tavoitteita.

 Olen luokitellut tavoitteet kolmeen ryhmään:

  •  Volyymitavoite mittaa esimerkiksi käsiteltyjen asioiden lukumääriä
  • Laatutavoite mittaa esimerkiksi it-toiminnan nopeutta tai virheettömyyttä.
  • Tuloksellisuustavoite on vaikein mittari. Sen pitäisi mitata asiakkaan toiminnan onnistumista, esimerkiksi myyntiä tai asiakastoimitusten onnistumista.

 Kysymyksen muotoilu tuntuu yllättävän vaikealta, koska mittareita ja tavoitteita on niin monenlaisia.  Siksi kysymys 2 on avoin, toivon että kerrot tärkeimmät käytössä olevat mittarit, joilla it-toimintaa mitataan. Vastaa siihen riippumatta siitä, onko teillä niille täsmällisiä tavoitteita.

 1)      Onko teillä käytössä jokin määritelty tavoite, voit valita useita vaihtoehtoja?

  1. a.      ei
  2. b.      meillä on volyymitavoitteita
  3. c.       meillä on laatutavoitteita
  4. d.      meillä on tuloksellisuustavoitteita

 2)      Kuvaa miten it-palvelutoimintaa teillä mitataan. 

Tulokset

Kysymys koettiin ilmeisesti melko vaikeaksi, koska vastauksia tuli vain 20 kpl. Toisaalta tämä ei ollut internetkysely vaan pikemminkin sähköpostihaastattelu, jonka vastaajat ovat luotettavia ja asiantuntevia henkilöitä. Päätin olla lähettämättä uusintakyselyä, sen sijaan mietin voisinko muotoilla kysymykset toisella tavalla näiden tulosten perusteella. Tuloksia ei voi pitää edustavina, mutta toisaalta ne eivät ole mitenkään yllättäviä ja vahvistavat näkemyksiäni siitä mitä mitataan.

Slide1

Vastaajista 85 % kertoi että käytössä on tavoitteita, ja jokaisella heistä on laatutavoitteita ja melkein kaikilla volyymitavoitteita. Tuloksellisuustavoitteet ovat melko harvinaisia. Vain 15 %vastaajista kertoi, että heillä ei ole käytössä mitattavia tavoitteita.

Pyysin myös kuvaamaan käytössä olevia mittareita.

Slide2

Yleisin on käytettävyys, johon usein liittyy tavoite. Seuraavaksi tavallisin on tikettien määrät. Yleisiä mittareita ovat myös ratkaisukyky ja asiakas- ja tai käyttäjätyytyväisyys. Nopeuden ja SLAt mainitsi 30 % vastaajista. Oletan että SLA-tavoitteet ovat yleisempiä mutta monet eivät vain maininneet että tavoitteet ovat osa SLAta. Puhelutilastojen merkitys näyttää vähenneen.

Raha mittarina liittyi aina tuloksellisuuteen. Tavallisin tuloksellisuuden mittari olikin palvelujen kustannukset laatuun suhteutettuna. Toinen tuloksellisuuden mittari on jonkin asian onnistuminen.

Olen hiukan eri mieltä vastaajien kanssa tuloksellisuusmittareista. Kustannuspito tai kustannustehokkuus eivät mielestäni vielä mittaa tuloksellisuutta. Ne ovat hyviä laatumittareita, mutta tuloksellisuus olisi jotain, joka yhdistäisi liiketoiminnan ja it:n tavoitteet.

Osa vastaajista suhtautuu terveen kriittisesti mittaamiseen:

  • Joukossa on minusta liian vähän palvelun hyötyä ja arvoa mittaavia asioita. Tähän on toki useita malleja MOV, Cobit 5 / ValIT jne.. Silti meidän tapauksessa asiakkaat eivät ole tähän mennessä ole vaatinut kuin perinteisiä mittareita, joita on raportoitu vuosia.
  • …mittauksia joilla meidän pitäisi ohjata toimintaamme, emme välttämättä kuitenkaan tässä aina onnistu
  • käymme läpi projektien onnistumisia ja epäonnistumisia, näistäkin otetaan opikseen harvemmin koska aikaa ei vain riitä reaktiivisesta toiminnasta proaktiiviseen siirtymiselle.
  • Mittareita on monenmoisia, mutta avainkysymys on se miten niihin reagoidaan, jos niitä ylipäätänsä seurataan.
  • Etenkin yksilön suorituksen mittaaminen on jopa vaarallista ja voi johtaa ihmeelliseen tulokseen. Yleisesti mittareiden kanssa on oltava avoimia, varovaisia ja perusteltava mitä mitataan ja miksi. Lisäksi mittareiden asettelussa on mietittävä, että mittaamme asioita joiden avulla voimme kehittyä. Usein kuulen mittareista puhuttavan ja usein myös kauhistun mitä kaikkea sitä mitataankaan ja miksi.

Johtopäätökset

Olen pohtinut tavoitteiden asettamista ja mittaamista jonkun aikaa. Perinteisesti it:n mittaaminen keskittyy oman toiminnan mittaamiseen ja pahimmillaan omien aktiviteettien mittaamiseen. Mittaamisen tärkeys on tavallinen hokema, joskus väitetään että Deming sanoi että mitä ei voi mitata, sitä ei voi ohjata. Todellisuudessa Deming sanoi väitteen olevan kallis myytti. “It is wrong to suppose that if you can’t measure it, you can’t manage it – a costly myth”.

Toimivien mittareiden kehittäminen on vaikeaa ja usein käytetään mittareita, joiden tiedetään olevan epätarkkoja tai puutteellisia. Ongelmia syntyy jos ja kun mittareista tehdään tavoitteita ja tavoitteita asettavat henkilöt, jotka eivät niitä ymmärrä. Tietotekniikan toimivuus on vaikeasti mitattava asia. On hyvin vaikea mitata tietotekniikan tuottamaa hyötyä. Sen sijaan on paljon helpompi mitata tietotekniikan komponenttien toimintaa ja ajatella, että se vaikuttaa saatuun hyötyyn.

On hyvin tavallista, että mitataan prosessin toimintaa. Prosesseissa on erilaisia aktiviteetteja ja niistä saa mittareita helposti. Kun prosessia käynnistetään, on tärkeää mitata sen toimintaa. Mittaukset varmistavat sen, että prosessi toimii halutulla tavalla. Tässä ei ole mitään väärää. Prosessien toiminta ei kuitenkaan ole varsinainen tavoite. On helppoa koota suuri joukko prosessimittareita ja luoda mielikuva, että tilanne on hallinnassa.

Liiketoiminnalla on yleensä kaksi tavoitetta, kasvu ja tulos. Voittoa tavoittelemattoman organisaation tehtävänä on yleensä tuottaa jotain palvelua mahdollisimman tehokkaasti ja vaikuttavasti. Laatu on näitä tukeva tavoite. Tietotekniikkaan tehdyn investoinnin perusteena on joko toiminnan kehittäminen tai kustannusten säästö. It-toiminnan tuloksellisuuden pitäisi vaikuttaa näihin tavoitteisiin.

Esimerkiksi emo-organisaation tavoitteena voi olla kustannusten alentaminen, tämä voisi olla myös it:n tavoite. Joskus it tuottaa yrityksen myymän palvelun, silloin olisi luontevaa ottaa palvelun myynti myös it:n tavoitteeksi.

Tämä tarkoittaa sitä, että it:n tavoitteiksi pitää ottaa koko organisaation tavoitteet. Esimerkiksi pankin tai vakuutusyhtiön it-yksikön tavoite on emon markkinaosuuden kasvattaminen ja tuloksen parantaminen, edellyttäen toki, että ne ovat emon tavoitteet.  Voin kuulla vastaväitteen: ”Emmehän me pysty siihen vaikuttamaan”. Olen eri mieltä. It-toiminta vaikuttaa emon toimintaan monella tavalla. Yhteiset tavoitteet yhdistävät ja purkavat tarpeetonta raja-aitaa it:n ja liiketoiminnan väliltä. It:n toimintaan liittyvät tavoitteet voivat olla jopa haitallisia.

Tutkimuksessani ei tullut esiin yhtään esimerkkiä jossa it olisi käyttänyt suoraan emon tavoitteita, mutta olisi mielenkiintoista kuulla onko kukaan yrittänyt tätä käytännössä.

Liite: Avoimet vastaukset

Mittareiden kuvaus
Palvelutuotantoa mitataan työnohjausjärjestelmien (tiketöinti) kautta, sekä käyttöpalveluiden ja tietoliikenteen osalta käytettävyysmittauksena.
it- palvelutoimintaa mitataan prosessien läpimenoajoilla, asiakastyytyväisyyskyselyillä, Kerralla kuntoon asteella, kustannustehokkuudella. Tulleet kontaktit vs. palvelun laatu.Tärkein kriteeri on palvelujen käytettävyys ja performance asiakkaan E to E kokeman perusteella. EtoE mittausta tehdään reaaliaikaisesti toistamalla palvelusekvenssejä virtuaalisilla palvelutapahtumilla.
IT Servicedesk:

  • tapahtumakohtainen asiakastyytyväisyyskysely lähtee jokaisesta tulleesta tiketistä, maksimi asiakastyytyväisyys on 3, meillä on 2,8 (tavoite 2,3)
  • tulleet puhelut ja luovuttaneet
  • mediaani miten nopeasti asiakkaalle vastataan, tällä hetkellä 17s
  • SD ratkaisuaste, tällä hetkellä kaikista tulleista tiketeistä 83%
  • tiimien ratkaisuaste, asiakaspalvelut-tiimin (oma tiimini) ratkaisuaste on yli 90%
  • tulleet tiketit ja SLA:n ylittäneet (volyymitieto ja palvelutasorikkomukset)

Työasemapalvelut:

  • tilaus-toimitusprosessi (tilauksesta asiakkaan työpöydälle 10tp)
  • tulleet tiketit ja SLA:n ylittäneet (volyymitieto ja palvelutasorikkomukset)

Käytettävyys:

  • tietoliikenne
  • palvelimet
  • tietojärjestelmät

Joka toinen vuosi lähetettävä asiakastyytyväisyyskysely, kysely lähtee noin 35.000 asiakkaalle.

Tärkein mittari meillä on Menetetyt käyttäjätunnit, joka mittaa sitä kuinka järjestelmät ovat olleet meidän käyttäjien käytettävissä. Sille on asetettu tietty tavoite. Tätä voidaan pitää päämittarina ja sille on sitten erilaisia alitavoitteita kuten esim. kulutettujen MIPS:ien  pysymisen MF-puolella alle tietyn tason ja verkon pystyssä pysyminen.
Yksi tärkeimmistä mittareista on NPS (suositteluaste), jota kysytään loppukäyttäjiltä ja päättäjiltä erikseen. Tämän alla on sitten useita eri mittareita (minusta liikaa), joita sitten asiakaskohtaisesti raportoidaan. Joukossa on minusta liian vähän palvelun hyötyä ja arvoa mittaavia asioita. Tähän on toki useita malleja MOV, Cobit 5 / ValIT jne.. Silti meidän tapauksessa asiakkaat eivät ole tähän mennessä ole vaatinut kuin perinteisiä mittareita, joita on raportoitu vuosia.
  • Palvelutason sopimusten pito (asiakas & palvelukohtaiset)
  • Asiakaskokemus operatiivisella, taktisella ja strategisella tasolla (kk/4 vuosi/vuosisyklillä kyselyt), loppukäyttäjäkokemus, otoskyselyt suljetuista palvelupyynnöistä
  • Benchmarking, kustannustehokkuus
  • Suunnittelemattomien palvelukatkojen lukumäärät ja kestot trendikehitys
  • Offshoring aste <> tavoitteet
  • Toimitus/palvelukohtainen kannattavuus
  • Cost of poor quality- teemalla, vaihtelevasti erilaisia mittareita, esim kuinka paljon saadaan ratkaistua 1. Tierillä tai joudutaan uudelleen avaamaan suljettuja palvelupyyntöjä

 

  • palvelutaso: useita mittareita, ml. end-to-end-SLA ja asiakastyytyväisyys
  • suorituskyky & laatu: hanke- ja projektitasoiset mittarit
  • kustannuspito: palvelut, toimitukset, kokonaiskustannukset
  • volyymina mitataan transaktiomääriä, tikettimääriä, puhelumääriä
  • laadun suhteen meillä mitataan uudelleenkäsittelyjen määrää, tämä koskee sekä transaktioita että tikettejä jotka ”uudelleenaukeaa”, tämä on tosin hyvin hankalaa mitata, koska keikat voivat aueta uudelleen syystäkin, prosessit eivät tue välttämättä sitä että keikka menee ”lepotilaan” koska asiakas ei voi aloittaa projektia ennen kesän loppua esim.
  • teemme employee satisfaction survey sekä customer satisfaction survey mittauksia joilla meidän pitäisi ohjata toimintaamme, emme välttämättä kuitenkaan tässä aina onnistu
  • käymme läpi projektien onnistumisia ja epäonnistumisia, näistäkin otetaan opikseen harvemmin koska aikaa ei vain riitä reaktiivisesta toiminnasta proaktiiviseen siirtymiselle.
Ihan kaikista mittareista en ole tietoinen, mutta ainakin mittaamme laatutavoitteella SD:n ratkaisuastetta. SD:n ratkaisuasteen tulee olla 75-90%.Mittaamme tosin myös volyymiä eli kuinka paljon tulee palvelupyyntöjä/häiriöitä ja kuinka paljon puheluita, mutta näille ei ole mitään tavoitteita.Tuloksellisuustavoitteeksi voitaneen laske tietojärjestelmien saatavuus tavoite, joka on järjestelmäkohtaisesti sovittu, mutta yleensä saatavuuden tulee olla 95%.IT palvelutoiminnan mittarointi esim.

  • insidenttien luokittelun mukaiset SLA:t joita mitataan (työn alle ottaminen, ratkaisuaika %:t SLA tavoitteisiin verrattuna)
  • järjestelmien käytettävyys %
  • Support Desk level mittarointi (1st level, 2nd level, 3rd level) ratkaisuprosentit eri leveleillä
  • RFC mittarointi SLA:n mukaisesti, RFC:t myös luokiteltu, %:t SLA ratkaisutavoitteen mukaisesti

Projektien mittarointi erikseen

  • aikataulut, kustannukset + status mittarointi projektin aikana (kustannukset, aikataulu, resursointi, scope jne)
Mittareita on monenmoisia, mutta avainkysymys on se miten niihin reagoidaan, jos niitä ylipäätänsä seurataan.
Tärkein mittari on tuloksellisuus, joka mitataan suoraan myyntieuroina, toimitusten eurot naksutetaan laskutuspostien tahdissa, joka lienee reiluin tapa.Koska iso osa palvelutuotantoa on spesifien transaktiotyyppisten asioiden hoitamista, niistä mitataan myösvolyymiä vs tavoite (jolla valvotaan markkinaosuutta ja palvelutuotteen kysyntää)laatua eli palvelunkeskeytyksiä tai korjaustoimia edellyttäviä virheitä
Palvelutoimintaa mitataan päämiesten ja asiakkaiden asettamilla tavoitteilla (SLA), jotka ovat kaikilla erilaiset. Eniten on painoa toimitusaikatavoitteilla, mutta usein seurataan myös uusintakorjauksia, varaosien kulutusta ja vikakoodien raportoinnin oikeellisuutta.
Käytämme vuosittain kyselyä henkilökunnalle. Olemme tehneet tätä 3 vuoden ajan samoilla kysymyksillä jolloin saamme vertailupohjaa.
meillä on volyymitavoitteita

  • palvelujen käyttövolyymejä; esim. tiketit, puhelut

meillä on laatutavoitteita

  • palveluiden saatavuus , häiriöiden määrä vs. tavoitteet, muutoksenhallinta osalta esim. muutos aiheutti  uuden ongelman tai paluun, vasteaika puheluille, loppukäyttäjätyytyväisyys, asiakastyytyväisyys, suositteluindeksi

tuloksellisuustavoite

  • liittyy meillä usein aikaisemmin tehdyn projektin tulosten myöhempää käyttöä; esim. tavoitteena on muuttaa lankapuhelimet IP-puhelimiksi x-vuodessa. Projektissa luodaan IP-puhelininfra ja mallit miten käyttäjät voivat palvelulla korvata lankapuhelimet (esim. puhelimen elinkaaren päättyessä). Näitä / vastaavia on noin7-8 erilaista.
Tällä hetkellä vasta mietimme käsittääkseni mittareita. Olen huomioinut vuosien saatossa, että mittareilla on usein kääntöpuoli. Esimerkiksi se, että ajattelematon mittaaminen alkaa ohjata helposti työntekijän suorittamista, joskus työlaadun kustannuksella.Joskus mittasimme esim. suljettujen palvelupyyntöjen määrää ja se johti ainakin osittain siihen, että tikettejä suljettiin huolimattomasti keskeneräisenä, niitä haalittiin itselle työjonoon enemmän kuin ehdittiin tehdä ja näin asiakas kärsi palvelun muuttumisesta tehottomammaksi, vaikka aikomus oli toinen.Lisäksi ilmeni outousJ sillä tikettejä tehtiin mittarin luonnin jälkeen hurja määrä omin voimin, eli ne eivät tulleet ollenkaan asiakkaalta ja jo suljetusta työjonosta otettiin töitä omalle vastuulle, jotta henkilökohtainen panostus näyttäisi mittarissa /raportissa paremmaltaJEtenkin yksilön suorituksen mittaaminen on jopa vaarallista ja voi johtaa ihmeelliseen tulokseen. Yleisesti mittareiden kanssa on oltava avoimia, varovaisia ja perusteltava mitä mitataan ja miksi. Lisäksi mittareiden asettelussa on mietittävä, että mittaamme asioita joiden avulla voimme kehittyä. Usein kuulen mittareista puhuttavan ja usein myös kauhistun mitä kaikkea sitä mitataankaan ja miksi.
Help Deskimme kerää tietoa palvelupyynnöistä. Kaikki palvelupyyntömme tulevat kulkemaan Help deskin kautta vuoden 2014 aikana. It-palvelutoiminnalle yleisiä volyymi- ja laatumittareita työstetään raporttien muotoon parhaillaan. Tavoitteena on, että mittarit tukisivat laatu- ja tuloksellisuustavoitteitamme.
Tärkein mittarimme on palvelumme saatavuus, joka on sopimuksissamme sanktioitu.Mittaamme palvelupisteessä reagointiaikaa, jolla on sopimuksellinen velvoitetaso asiakkaalle.Tiketeistä mitataan myös tapahtumamääriä palveluittain (lue tuotteittain) tuotekehitystämme varten.
Ratkaistujen keikkojen määrä, Nopeus, Asiakastyytyväisyys, First call resolution (tulossa)

5 vastausta

  1. Moi, noita samoja asioita kyselimme aikoinamme useilta asiakkailta ja vastaukset olivat kutakuinkin samoja. Kaikkia enemmän prosesseihin ja SLA-mittareihin liittyvää mitataan mutta mainitsemasi viimeinen eli Tuloksellisuus on edelleen näköjään vaikein rasti. Huomasimme myös että vaikka kuinka yritimme saada business-päättäjät mukaan tutkimuksiin suurin osa oli kuitenkin tietohallinnon edustajia tutkimuksissa. Tämä vaikeutti liiketoiminnan tavoitteiden ja mittareiden selvittämistä. Jos kuitenkin LT osallistui niin heidän mittarinsa ja tietohallinnon toteuttamat mittaukset eivät olleet synkassa ja tuntui välillä siltä että TH mittasi omia asioitaan ja näytti hienoja raportteja mutta niillä oli hyvin vähän yhteyttä niihin mittareihin, joita LT piti tärkeänä oman onnistumisen kannalta. Mielestäni tällä alueella yrityksiltä puuttuu edelleen kokonaisnäkemys ja vaikuttaa myös siltä että tämän kokonaisuuden hallitsemiseen ei tunnu löytyvän myöskään osaamista varsinkin nykyisen erittäin kompleksisen LT-ympäristön mittaamisessa.

    • Pekka, olen samaa mieltä, tämä on ilmeisen tärkeä asia, johon pitäisi kiinnittää huomiota.

    • Kyllä kai nämä kyseiset osapuolet ovat mittarointeineen hieman eri puolilla. Eihän muistikuvani mukaan järjestelmien määrittelyissäkään kovin usein määritellä tavoitteita LT:n puolella haettavista säästöistä, toimintatapamuutoksista ja muista sellaisista, vaikka kyse useimmiten pitäisi olla liiketoiminnan muutosprojektista ei järjestelmäprojektista. Saatika, että jälkikäteen selvitettäisiin miten muutos toteutui projektin jälkeen.

    • Näinhän se on mutta tein muutamissa caseissa nimeomaan duunia asiakkaan kanssa siitä että voisimmeko johtaa LT:n tavoitteista ja mittareista tavoitteet ja mittarit tietotekniikalle ja tietohallinnolle. Eli jos asiakas on määritellyt esim. että logistiikkaprosessiin liittyvien palvelujen saatavuus on oltava 24/6 niin mitä se tarkoittaa IT-palvelujen kannalta? Hyvin usein tämä työ myös auttaa sekä LT että IT ymmärtämään mitä kukin palvelu maksaa. Jos haluat korkeaa käytettävyyttä oletko valmiina maksamaan siitä? Paljonko esim. tunnin katko logistiikassa maksaa yritykselle menetettyinä toimituksina ja miten tämä kustannus on suhteessa korkean käytettävyyden palvelumaksuissa. Toinen juttu on sitten kuka tämän maksaa ja sehän on sitten governance asia mutta nimeomaan edellämainittu yhteistyö tässä olisi juttu ja että LT ja IT ymmärtäisivät ja hyväksyisivät tavoitteet ja mittarit. Voihan olla että olemme yrittäneet miettineet asioita, jotka eivät vaan yksinkertaisesti onnistu🙂

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s

%d bloggers like this: