Metriky UX: Jak správně použít SUS, NPS, CSAT a dokončení úkolů

01Nejdřív vyberte otázku, potom metriku

Chcete zjistit, zda lidé zvládnou změnit rezervaci, jak hodnotí ovládání aplikace, nebo zda by doporučili celou službu? To jsou tři odlišné otázky. Neskládejte SUS, NPS, CSAT a dokončení úkolů do jednoho průměrného „UX skóre“. Mají odlišné stupnice, jmenovatele i význam. Jedno hezké číslo by zakrylo problém, který potřebujete opravit.

Pro návrh nové funkce začněte pozorováním skutečného úkolu. Pro sledování vnímané použitelnosti použijte standardizovaný dotazník. Pro reakci na konkrétní kontakt se hodí spokojenost a pro širší vztah se zákazníkem ochota doporučit. Článek navazuje na pravidla návrhu UX prototypu; zde řešíme výběr a vyhodnocení měření.

02Čtyři metriky a čtyři různé odpovědi

03SUS: Skóre použitelnosti, nikoli procenta

System Usability Scale vznikla jako desetipoložkový dotazník se škálou odpovědí 1 až 5. Zadává se po použití systému. Původní metodika Johna Brookea popisuje standardní výpočet: u lichých položek odečtěte 1, u sudých odečtěte odpověď od 5, příspěvky sečtěte a součet vynásobte 2,5.

Modelový výpočet: Odpovědi jednoho člověka jsou 4, 2, 4, 2, 4, 2, 4, 2, 4, 2. Každá přispěje třemi body, součet je 30 a SUS = 30 × 2,5 = 75. Výsledek není „75 % použitelný“. Přepočítané skóre nepočítá podíl uživatelů ani dokončených úloh. Pro skupinu nejprve spočítejte skóre každého účastníka a pak popište souhrn i rozptyl.

Použijte standardní znění a vhodně ověřenou jazykovou verzi. Volné přepsání položek nebo odstranění nepohodlné otázky mění měřicí nástroj. Chybějící odpověď nenahrazujte automaticky nulou; pravidlo řešení chybějících dat stanovte podle zvolené metodiky před sběrem. Kontrolu směru položek a bodování popisují také Lewis a Sauro ve studii struktury SUS.

SUS doporučujeme pro porovnání stejného produktu v podobných podmínkách. V reportu vždy napište, co lidé před vyplněním skutečně používali. Skóre od zkušených zaměstnanců po roce práce není přímou náhradou skóre od nováčků po první zkoušce.

04NPS: Doporučení služby není test obrazovky

Bain uvádí škálu ochoty doporučit 0 až 10. Hodnocení 9 a 10 tvoří příznivci, 7 a 8 neutrální skupina a 0 až 6 kritici. NPS je procentní podíl příznivců minus procentní podíl kritiků; rozsah je -100 až +100. Neutrální odpovědi zůstávají ve jmenovateli.

V modelu se 100 platnými odpověďmi je 40 příznivců, 35 neutrálních a 25 kritiků. NPS = 40 - 25 = +15. Výsledek uvádějte jako skóre +15, ne jako 15% spokojenost. Stejný NPS navíc mohou vytvořit různé směsi odpovědí, proto uchovávejte rozdělení skupin a počet odpovědí.

Určete, zda člověk hodnotí značku, produkt nebo konkrétní zkušenost. Nezaměňujte tyto kontexty při porovnávání. K otázce přidejte prostor pro důvod hodnocení a rozhodněte, kdo komentáře zpracuje. NPS není vhodná jediná přejímací podmínka nového formuláře: ovlivní ho také cena, doručení nebo předchozí kontakt s firmou.

05CSAT: Napište, s čím má být člověk spokojený

CSAT měří spokojenost s vymezenou zkušeností. Běžná varianta se škálou 1 až 5 počítá podíl odpovědí 4 a 5 ze všech platných odpovědí; tento postup uvádí metodika Qualtrics. Uložte znění otázky, popisy škály, okamžik oslovení a pravidlo pro zařazení mezi spokojené.

Pokud v samostatném modelovém průzkumu odpoví 100 lidí, z toho 32 zvolí čtyřku a 40 pětku, CSAT = (32 + 40)/100 × 100 = 72 %. Jmenovatelem není počet oslovených osob. Pokud dotazník dostalo 500 lidí, návratnost je 100/500 = 20 % a jde o jiný ukazatel.

Průměr 4,2 z 5 označte jako průměrné hodnocení, nikoli jako stejný výpočet CSAT. Při změně škály nebo času dotazu vzniká zlom v řadě. Otázka po uzavření požadavku také nic neříká o lidech, kteří se k podpoře vůbec nedostali. V návrhu sběru proto popište, kdo má šanci odpovědět a kdo chybí.

06Dokončení úkolu: Nejdřív definujte úspěch

Míra dokončení vyjadřuje podíl úspěšných pokusů o definovaný úkol. Nielsen Norman Group upozorňuje na nutnost rozlišovat úplný a částečný úspěch. V naší doporučené evidenci používejte oddělené kategorie: bez pomoci, s pomocí a nedokončeno. Nevyrábějte z nich libovolně vážené skóre.

„Změnit rezervaci“ musí zahrnovat správný termín, správnou osobu a uložené potvrzení. Kliknutí na tlačítko samo o sobě úspěch neprokazuje. Předem stanovte časový limit, dovolenou nápovědu, zacházení s technickým výpadkem a pravidlo pro opakovaný pokus. Pokud účastník úkol nezačal, popište proč a jak to ovlivňuje jmenovatel.

V modelu dokončí 8 z 10 lidí úkol bez pomoci: 80 %. Když dalšímu pomůže moderátor, samostatná úspěšnost zůstává 80 % a dokončení včetně pomoci je 90 %. Tyto údaje neslévejte. U více úloh uvádějte výsledky po úlohách; jinak může snadné vyhledání zakrýt neúspěšnou platbu.

07Doplňte čas, chyby a vysvětlení

Ke klíčové úloze sledujte typ chyby, kritický krok a potřebnou pomoc. Čas měřte od stejného začátku ke stejnému konci. Rozlišujte úspěšné a neúspěšné pokusy a přerušení. Vynecháním nedokončených úloh bez poznámky může produkt vypadat rychlejší právě proto, že někteří lidé rezignovali.

Při kvalitativním testu se ptejte, co člověk očekává a čemu nerozumí. Pokud nahlas popisuje své myšlenky, neporovnávejte čas bez výhrady s tichým provozem. Pozorování dává číslu příčinu, kterou je možné ověřit. Samotné „CSAT kleslo“ ještě neurčuje, jakou část aplikace máte předělat.

08Modelový graf: Porovnávejte stejnou metriku

Následující srovnání je výhradně ilustrační model dvou variant, nikoli experiment ani výsledky LISTIFY. U každé varianty předpokládáme 20 účastníků a jeden pokus každého člověka o každou ze tří úloh. Všechny pokusy jsou zahrnuté, úspěch znamená správné dokončení bez nápovědy.

U založení žádosti je rozdíl 20 procentních bodů, relativní nárůst přibližně 33,3 %. Graf zobrazuje jednu srovnatelnou metriku a popisuje její jmenovatel. Nedává vedle sebe SUS 75, NPS 15 a CSAT 72 %, jako by délka sloupce znamenala stejné množství kvality. Z modelu nelze tvrdit statistickou významnost ani příčinu zlepšení.

09Ohlídejte výběr lidí a nejistotu

Ke každému výsledku přidejte počet účastníků, způsob oslovení, roli, zařízení a období. Malý test může odhalit závažnou chybu, ale přesné procento celé populace z něj nevzniká. Osm úspěchů z deseti a osmdesát ze sta dává stejný bodový podíl; síla podkladů a nejistota jsou jiné.

Pokud rozhodujete o rozdílu mezi verzemi, naplánujte potřebnou velikost vzorku podle očekávaného rozdílu a vhodné statistické metody. Pro podíly, NPS a průměr SUS nejsou výpočty nejistoty totožné. U opakovaného testování stejného člověka počítejte s učením a závislostí výsledků. Náhodné rozdělení mezi varianty pomáhá oddělit vliv návrhu od rozdílného složení skupin.

Nesrovnávejte bez vysvětlení mobilní nováčky s proškolenými zaměstnanci na počítači. Ani velký počet odpovědí neodstraní systematické vynechání nespokojených lidí, kteří už službu opustili. Benchmark používejte jen při srovnatelném kontextu a metodice; univerzální hranice „dobrého UX“ není náhradou za požadavek vašeho produktu.

10Připravte měřicí plán na jednu stránku

• Rozhodnutí: Co podle výsledku změníte nebo schválíte?
• Úloha a publikum: Kdo řeší jakou situaci a na jakém zařízení?
• Metrika: Přesný výpočet, škála, jmenovatel a pravidla výjimek.
• Sběr: Kdy a koho oslovíte, co zaznamenáte a kdo získá přístup.
• Výchozí stav: Verze produktu a podmínky, které se mají zachovat.
• Vyhodnocení: Velikost vzorku, nejistota, segmenty a omezení.
• Akce: Vlastník opravy, termín a stejné následné ověření.

Před ostrým sběrem proveďte pilot dotazníku i výpočtu. Vyzkoušejte prázdnou odpověď, krajní hodnoty a dvojité odeslání. U analytické události ověřte, že vzniká po skutečném dokončení, ne při zobrazení tlačítka. Pravidla neupravujte zpětně jen proto, že první výsledek nevypadá dobře.

11Časté otázky k metrikám UX

Chcete ověřit, zda se nová funkce používá lépe? V rámci návrhu a vývoje webové aplikace začněme jedním důležitým úkolem, jasným kritériem úspěchu a plánem opakovaného měření. Výsledek má vést ke konkrétní opravě, ne pouze k další hodnotě na dashboardu.