Metriky UX: Ako správne použiť SUS, NPS, CSAT a dokončenie úloh

01Najprv otázka, potom metrika

Chcete vedieť, či ľudia zvládnu zmeniť rezerváciu, ako hodnotia ovládanie aplikácie alebo či by odporučili celú službu? Ide o odlišné otázky. Nespájajte SUS, NPS, CSAT a dokončenie úloh do jedného priemerného „UX skóre“. Majú iné stupnice, menovatele aj význam. Jedno pekné číslo by skrylo problém, ktorý potrebujete vyriešiť.

Pri novej funkcii začnite pozorovaním skutočnej úlohy. Na vnímanú použiteľnosť využite štandardizovaný dotazník. Reakciu na konkrétny kontakt zachytí spokojnosť, širší vzťah k službe ochota odporučiť. Nadväzujeme na pravidlá návrhu UX prototypu; tu sa venujeme výberu a vyhodnoteniu merania.

02Štyri metriky, štyri rôzne odpovede

03SUS: Skóre použiteľnosti, nie percentá

System Usability Scale je desaťpoložkový dotazník so škálou odpovedí 1 až 5, ktorý sa vypĺňa po použití systému. Pôvodná metodika Johna Brookea určuje výpočet: pri nepárnych položkách od odpovede odpočítajte 1, pri párnych odpočítajte odpoveď od 5. Príspevky sčítajte a výsledok vynásobte 2,5.

Modelový výpočet: Jeden človek odpovie 4, 2, 4, 2, 4, 2, 4, 2, 4, 2. Každá odpoveď prispieva tromi bodmi, spolu 30, takže SUS = 30 × 2,5 = 75. Neznamená to „75 % použiteľný“. Skóre nie je podiel používateľov ani dokončených úloh. Pri skupine najprv vypočítajte skóre každého účastníka a potom opíšte súhrn aj rozptýlenie.

Používajte štandardné znenie a vhodne overenú jazykovú verziu. Voľné prepisovanie alebo vynechanie nepríjemnej položky mení nástroj merania. Chýbajúcu odpoveď automaticky nenahrádzajte nulou; pravidlo určte podľa zvolenej metodiky ešte pred zberom. Smerovanie položiek a bodovanie opisujú aj Lewis a Sauro v štúdii štruktúry SUS.

SUS odporúčame na porovnanie rovnakého produktu v podobných podmienkach. Zapíšte, čo ľudia pred dotazníkom skutočne používali. Skóre skúsených zamestnancov po roku práce nemôže bez ďalšieho vysvetlenia zastúpiť výsledok nováčikov po prvom vyskúšaní.

04NPS: Odporúčanie služby nie je test obrazovky

Bain používa škálu ochoty odporučiť 0 až 10. Hodnotenia 9 a 10 sú priaznivci, 7 a 8 neutrálna skupina a 0 až 6 kritici. NPS je percentuálny podiel priaznivcov mínus podiel kritikov, s rozsahom -100 až +100. Neutrálne odpovede zostávajú v menovateli.

V modeli so 100 platnými odpoveďami je 40 priaznivcov, 35 neutrálnych a 25 kritikov. NPS = 40 - 25 = +15. Výsledok uvádzajte ako skóre +15, nie ako 15% spokojnosť. Rovnaké NPS môže vzniknúť z odlišných pomerov skupín. Preto uchovávajte rozdelenie odpovedí aj ich počet.

Určte, či človek hodnotí značku, produkt alebo konkrétnu skúsenosť. Pri porovnaní tieto kontexty nezamieňajte. Doplňte priestor na dôvod hodnotenia a človeka, ktorý komentáre spracuje. NPS nie je vhodná jediná podmienka prevzatia nového formulára: vplýva naň aj cena, doručenie a predchádzajúci kontakt s firmou.

05CSAT: Jasne pomenujte hodnotenú skúsenosť

CSAT vyjadruje spokojnosť s vymedzenou skúsenosťou. Bežná verzia so škálou 1 až 5 počíta podiel odpovedí 4 a 5 zo všetkých platných odpovedí; opisuje ju metodika Qualtrics. Uložte otázku, slovné označenie škály, čas oslovenia a pravidlo zaradenia medzi spokojných.

V samostatnom modelovom prieskume odpovie 100 ľudí: 32 vyberie štvorku a 40 päťku. CSAT = (32 + 40)/100 × 100 = 72 %. Menovateľom nie je počet oslovených. Ak dotazník dostalo 500 ľudí, návratnosť je 100/500 = 20 %, čo predstavuje inú metriku.

Priemer 4,2 z 5 označte ako priemerné hodnotenie, nie ako rovnaký výpočet CSAT. Zmena škály alebo okamihu otázky vytvára zlom v časovom rade. Dotaz po uzavretí požiadavky tiež nezachytí ľudí, ktorí sa k podpore vôbec nedostali. V návrhu zberu preto opíšte, kto môže odpovedať a kto v dátach chýba.

06Dokončenie úlohy: Najprv definujte úspech

Miera dokončenia je podiel úspešných pokusov o definovanú úlohu. Nielsen Norman Group rozlišuje úplný a čiastočný úspech. Odporúčame samostatné kategórie: bez pomoci, s pomocou a nedokončené. Nevytvárajte z nich svojvoľne vážené skóre.

„Zmeniť rezerváciu“ musí zahŕňať správny termín, správnu osobu aj uložené potvrdenie. Kliknutie na tlačidlo nestačí. Vopred určte časový limit, dovolenú nápovedu, pravidlá pri technickom výpadku a opakovanom pokuse. Ak účastník úlohu nezačal, vysvetlite dôvod a jeho vplyv na menovateľa.

V modeli dokončí 8 z 10 ľudí úlohu bez pomoci, teda 80 %. Keď ďalšiemu pomôže moderátor, samostatná úspešnosť zostáva 80 % a dokončenie vrátane pomoci dosiahne 90 %. Tieto čísla nespájajte. Výsledky viacerých úloh uvádzajte osobitne, aby ľahké vyhľadanie nezakrylo neúspešnú platbu.

07Pridajte čas, chyby a vysvetlenie

Pri kľúčovej úlohe sledujte typ chyby, kritický krok a potrebnú pomoc. Čas merajte od rovnakého začiatku po rovnaký koniec. Oddeľte úspešné a neúspešné pokusy aj prerušenia. Ak bez poznámky vynecháte nedokončené úlohy, produkt môže vyzerať rýchlejšie práve preto, že niektorí ľudia rezignovali.

Pri kvalitatívnom teste sa pýtajte, čo človek očakáva a čomu nerozumie. Keď nahlas opisuje svoje myšlienky, čas bez výhrady neporovnávajte s tichou prevádzkou. Pozorovanie pomáha nájsť overiteľnú príčinu čísla. Samotné „CSAT kleslo“ neurčuje, ktorú časť aplikácie máte prerobiť.

08Modelový graf: Porovnávajte rovnakú metriku

Nasleduje výhradne ilustračný model dvoch variantov, nie experiment ani výsledky LISTIFY. Pri každom variante predpokladáme 20 účastníkov a jeden pokus každého človeka o každú z troch úloh. Zahŕňame všetky pokusy; úspech je správne dokončenie bez nápovedy.

Pri vytvorení žiadosti je rozdiel 20 percentuálnych bodov a relatívny nárast približne 33,3 %. Graf ukazuje jednu porovnateľnú metriku s jasným menovateľom. Nekladie vedľa seba SUS 75, NPS 15 a CSAT 72 %, akoby dĺžka stĺpca vyjadrovala rovnakú kvalitu. Z modelu nemožno vyvodzovať štatistickú významnosť ani príčinu zlepšenia.

09Skontrolujte výber účastníkov a neistotu

Ku každému výsledku pridajte počet ľudí, spôsob oslovenia, rolu, zariadenie a obdobie. Malý test môže odhaliť vážnu chybu, ale nevytvorí presné percento celej populácie. Osem úspechov z desiatich a osemdesiat zo sto má rovnaký bodový podiel; sila podkladov a neistota sa líšia.

Pri rozhodovaní medzi verziami naplánujte veľkosť vzorky podľa očakávaného rozdielu a vhodnej štatistickej metódy. Neistota podielu, NPS a priemeru SUS sa nepočíta totožne. Pri opakovanom teste rovnakého človeka zohľadnite učenie a závislosť výsledkov. Náhodné rozdelenie do variantov pomáha oddeliť vplyv návrhu od zloženia skupín.

Neporovnávajte bez vysvetlenia nováčikov na telefóne s vyškolenými zamestnancami pri počítači. Ani veľká vzorka neodstráni systematické vynechanie nespokojných ľudí, ktorí už odišli. Benchmark má význam pri porovnateľnom kontexte a metodike. Univerzálna hranica „dobrého UX“ nenahrádza potreby vášho produktu.

10Pripravte jednostranový plán merania

• Rozhodnutie: Čo podľa výsledku zmeníte alebo schválite?
• Úloha a publikum: Kto rieši akú situáciu a na akom zariadení?
• Metrika: Presný výpočet, škála, menovateľ a výnimky.
• Zber: Kedy a koho oslovíte, čo zaznamenáte a kto získa prístup.
• Východiskový stav: Verzia produktu a zachované podmienky.
• Vyhodnotenie: Veľkosť vzorky, neistota, segmenty a obmedzenia.
• Krok: Vlastník opravy, termín a rovnaké následné overenie.

Pred zberom overte dotazník aj výpočet v pilote. Vyskúšajte prázdnu odpoveď, krajné hodnoty a dvojité odoslanie. Pri analytickej udalosti skontrolujte, že vzniká po skutočnom dokončení, nie pri zobrazení tlačidla. Pravidlá nemeňte spätne iba preto, že prvé číslo nevyzerá priaznivo.

11Časté otázky k metrikám UX

Chcete overiť, či sa nová funkcia používa lepšie? Pri návrhu a vývoji webovej aplikácie začnime dôležitou úlohou, jasnou podmienkou úspechu a opakovateľným meraním. Výsledok má viesť ku konkrétnej oprave, nielen k ďalšiemu číslu na dashboarde.