Preskočiť na obsah
Weby na mieru

A/B testovanie na webe: Ako testovať, aby výsledky dávali zmysel

Dva varianty stránky, dve rôzne čísla a predčasne vyhlásený víťaz. Tak môže vzniknúť drahé rozhodnutie z náhody. Zmysluplný A/B test začína obchodnou otázkou, pokračuje správnym rozdelením návštevníkov a končí výsledkom, ktorý zohľadňuje neistotu aj náklady zmeny. Ukážeme, čo pripraviť pred spustením a kedy zvoliť iné overenie.

A/B testovanie na webe: Ako testovať, aby výsledky dávali zmysel

Testovať možno ponuku, poradie informácií aj celý krok objednávky. Cieľom nie je nazbierať čo najviac zelených výsledkov. Potrebujete zistiť, či konkrétna zmena pomáha správnym ľuďom dokončiť dôležitú úlohu, a mať dostatok podkladov na rozhodnutie o nasadení.

01Začnite problémom, ktorý stojí za rozhodnutie

Hypotéza má vysvetliť očakávanú príčinu zmeny. Napríklad: zákazníci nerozumejú podmienkam inštalácie, preto pridáme zrozumiteľné zhrnutie pred dopytový formulár. Očakávame viac relevantných dopytov od ľudí, pre ktorých služba skutočne je. Návrh zároveň určuje, koho sa zmena týka a čo budeme sledovať.

Podklad hľadajte v hovoroch, reklamáciách, pozorovaní a mape zákazníckej cesty. Heatmapy a analytika správania ukážu miesta na preskúmanie, samotné klikanie však nevysvetľuje motiváciu. Farbu tlačidla testujte vtedy, keď máte dôvod očakávať problém s rozpoznaním akcie.

V jednom variante môžete zmeniť súvisiaci celok. Potom však zisťujete dopad celého balíka, nie každého nadpisu zvlášť. Vopred pomenujte, čo sa z prípadného úspechu skutočne dozviete.

02A/B test nie je porovnanie minulého a tohto mesiaca

Pri A/B teste bežia varianty súčasne a účastníci sa do nich prideľujú náhodne. Tým obmedzujete vplyv sezóny, inej kampane alebo zmeny dostupnosti. Porovnanie pred a po zmene tieto vplyvy samo neoddelí. Je užitočné na sledovanie prevádzky, ale nemusí dokázať, že rast spôsobila práve nová stránka.

Určite jednotku rozdelenia. Pri bežnom webe to môže byť používateľ, pri zdieľanom firemnom systéme celá organizácia. Jeden človek by nemal pri každom načítaní vidieť iný variant. Prihlásenie, rôzne prehliadače a zariadenia treba vyriešiť podľa možností merania a zaznamenať zostávajúce obmedzenia.

Neporovnávajte iba ľudí, ktorí po zobrazení variantu klikli na tlačidlo. Variant môže ovplyvniť už samotné kliknutie a výber takejto skupiny výsledok skreslí. Pravidlo zaradenia stanovte vopred podľa zamýšľaného experimentu.

03Jedna hlavná metrika a kontrola vedľajších dopadov

Hlavná metrika má zodpovedať rozhodnutiu. Pri dopytovom webe môže ísť o relevantné dopyty na prideleného návštevníka, pri e-⁠shope o zaplatené objednávky v stanovenom okne. Nezamieňajte počet kliknutí za obchodný výsledok. Definícia čitateľa, menovateľa a časového okna patrí do zadania.

Úloha metrikyPríkladPrečo ju potrebujete
Hlavný výsledokRelevantný dopyt na prideleného používateľaZodpovedá obchodnej hypotéze.
Kontrolný ukazovateľChybovosť odoslania alebo rýchlosť stránkyZachytí poškodenie dôležitej časti služby.
Vysvetľujúci ukazovateľOtvorenie formulára a jednotlivé krokyPomôže hľadať mechanizmus zmeny.
Kvalita údajovPridelenie variantu a úplnosť udalostíUkáže, či porovnaniu vôbec veriť.
Príklady na zadanie, nie univerzálny zoznam alebo záruka rastu.

Relevantnosť dopytu určujte rovnakým pravidlom pre obe skupiny. Ak ju obchodník overí až neskôr, neukončujte vyhodnotenie skôr, než majú obe skupiny porovnateľný čas dozrieť. Viac o voľbe ukazovateľov nájdete v článku metriky UX.

04Počet ľudí a koniec testu určite pred spustením

Neexistuje univerzálne pravidlo „stačí týždeň“ ani „stačí sto konverzií“. Potrebná vzorka závisí od východiskovej miery dokončenia, veľkosti zmeny, ktorú chcete rozlíšiť, variability údajov a štatistickej metódy. Menší efekt spravidla vyžaduje viac informácií. Výpočet musí vychádzať z reálne oprávnenej návštevnosti, nie zo všetkých zobrazení webu.

Stanovte najmenší prínos, ktorý by ospravedlnil náklady nasadenia a údržby. Microsoft odporúča prípravu pred experimentom, vrátane hypotézy a overenia pripravenosti. Pre vlastný projekt pripravte plán vzorky, dĺžky, vyhodnotenia a podmienok prerušenia.

Zahrňte relevantný obchodný cyklus a oneskorenie výsledkov. B2B obchod uzavretý o mesiac nemožno seriózne vyhodnotiť podľa zajtrajšieho predaja. Ak potrebný test vychádza príliš dlhý, zmeňte otázku alebo spôsob overenia; neznižujte nároky iba preto, aby sa objavil víťaz.

05Pred ostrým behom overte prideľovanie aj meranie

Prejdite oba varianty na podporovaných zariadeniach vrátane chyby a návratu. Skontrolujte, či experiment nespomaľuje stránku, krátko neukazuje oba návrhy a nemení súhlasy či meranie len v jednej skupine. Pri novej experimentálnej infraštruktúre môže pomôcť A/A kontrola s rovnakým obsahom, sama však nedokazuje bezchybnosť.

Microsoft opisuje Sample Ratio Mismatch ako varovanie, že skutočné počty skupín nezodpovedajú očakávanému rozdeleniu spôsobom, ktorý nemožno rozumne vysvetliť náhodou. Neznamená to, že obe skupiny musia mať presne rovnaký počet ľudí. Významnú odchýlku treba vyšetriť pred rozhodnutím.

Overte napríklad chýbajúce záznamy, presmerovania a nesprávnu identifikáciu. Základ udalostí pripravíte podľa sprievodcu meraním webu v GA4. Prehľad s percentami nenahrádza kontrolu pôvodných definícií.

Máte návrh zmeny, ale neviete, či naň máte dostatok údajov? Pošlite nám adresu stránky, cieľ a približnú návštevnosť. V Listify navrhneme spôsob overenia aj potrebné úpravy merania.

Prebrať plán A/B testu

06Počas testu sledujte škody, nehľadajte víťaza každý deň

Prevádzková kontrola pokračuje od prvého dňa. Nefunkčnú objednávku alebo zásah do prístupnosti zastavte podľa pripraveného pravidla. Ochrana používateľov je iná otázka než predčasné vyhlásenie úspechu pri prvom priaznivom výsledku.

Pri bežnom teste s pevným plánom zvyšuje opakované hľadanie významnosti a zastavenie pri prvom úspechu riziko falošného záveru; problém vysvetľuje Evan Miller na príklade A/B testu. Priebežné rozhodovanie potrebuje metódu, ktorá s ním výslovne počíta. Overte, aký postup skutočne používa váš nástroj.

Nemeňte uprostred behu cieľ ani obsah variantu bez zaznamenania dopadu na vyhodnotenie. Súčasné testy môžu zasahovať do rovnakej cesty. Pri menšom tíme je praktickejšie obmedziť ich prekryv a viesť prehľad zmien než neskôr hádať, ktorá úprava výsledok spôsobila.

Postup A/B testu od hypotézy cez plán a kontrolu údajov k rozhodnutiu
Rozhodovací postup. Chybné meranie alebo škodlivý variant môžu test zastaviť pred vyhodnotením prínosu.

07Modelový výsledok: vyššie číslo ešte neznamená víťaza

Predstavte si čisto ilustračné údaje: každý variant má 2 000 pridelených používateľov, A priniesol 80 konverzií a B ich priniesol 90. Ide o 4 % a 4,5 %, rozdiel 0,5 percentuálneho bodu a relatívny rast 12,5 %. Tieto čísla nie sú odporúčanou vzorkou ani výsledkom projektu Listify.

Modelové konverzie: rozdiel ešte nie je záver
  • Variant A: 80 / 2 0004,0 %
  • Variant B: 90 / 2 0004,5 %

Ilustračné údaje, nie výsledok klientského testu. Rozdiel 0,5 percentuálneho bodu znamená relatívne 12,5 %. Graf nevyjadruje štatistickú neistotu a sám neurčuje víťaza.

O rozhodnutí musí okrem rozdielu vypovedať neistota odhadu, kvalita údajov a vopred stanovená metóda. P-hodnota nie je pravdepodobnosť, že variant je zlý. Ani štatisticky preukázaná malá zmena nemusí zaplatiť drahšiu obsluhu. Skontrolujte aj relevantnosť kontaktov, storná a ďalšie dopady, ktoré samotná konverzia nezachytí.

Ak nevyjde presvedčivý záver, napíšte „nemáme dosť dôkazov na rozhodnutie“. Nie je to to isté ako dôkaz zhody. Ďalší postup závisí od nákladov, rizika a veľkosti efektov, ktoré vaše údaje ešte pripúšťajú.

08Kedy namiesto A/B testu zvoliť iné overenie

SituáciaUžitočný prvý krokČo z výsledku nevyvodzovať
Málo relevantných návštevPozorovanie zákazníkov pri konkrétnej úlohePresný budúci nárast konverzií.
Preukázateľne nefunkčné odoslanieOprava a kontrola celej cestyPotrebu držať pokazený variant kvôli experimentu.
Nejasná ponuka alebo nový produktRozhovory a overenie návrhuŽe pochvala znamená ochotu zaplatiť.
Spoľahlivé meranie a dostatok prevádzkyVopred naplánovaný experimentŽe jeden víťaz platí navždy a všade.
Metódy sa dopĺňajú. Voľba vychádza z otázky a dostupných podkladov.

Pri formulároch často najskôr odhalíte konkrétnu stratu údajov alebo nejasnú otázku. UX audit pomôže oddeliť chybu na opravu od hypotézy, ktorú stojí za to porovnať. Na odstránenie doloženej prekážky nemusíte čakať na veľký experiment.

09Po teste nasaďte rozhodnutie a upracte techniku

Zápis má obsahovať hypotézu, varianty, obdobie, populáciu, skutočné počty, hlavnú metriku, neistotu, obmedzenia a rozhodnutie. Uchovajte aj nerozhodné a neúspešné testy. Ďalší tím potom nebude opakovať rovnakú otázku bez znalosti toho, čo sa už overovalo.

Pri variantoch na rôznych URL dodržte odporúčania Google na testovanie: neukazujte vyhľadávaču zámerne iný obsah než ľuďom, používajte vhodné kanonické odkazy a na dočasné presmerovanie 302. Po ukončení odstráňte nepotrebné varianty a testovací kód.

Po plošnom nasadení sledujte funkčnosť a obchodný vývoj. Víťaz v experimente nemusí udržať rovnaký prínos pri inej ponuke, sezóne či zložení návštev. Poznatky preveďte na ďalšiu konkrétnu otázku, nie na univerzálne pravidlo pre všetky stránky.

10Časté otázky

Koľko návštev potrebujeme?

Závisí to od východiskových výsledkov, požadovanej citlivosti a metódy. Počítajte oprávnených účastníkov experimentu, nie všetky návštevy. Bez týchto vstupov je jedno odporúčané číslo zavádzajúce.

Môžeme test ukončiť, keď nástroj ukáže víťaza?

Len ak to zodpovedá vopred zvolenej metóde a sú splnené dátové aj prevádzkové podmienky. Overte, či nástroj podporuje priebežné rozhodovanie a ako pracuje s viacerými metrikami.

Máme testovať každý nadpis samostatne?

Nemusíte. Môžete porovnať súvisiacu zmenu celej ponuky. Výsledok potom patrí celku a nemožno z neho určiť prínos jednotlivých slov.

Čo ak pribudne kliknutí, ale klesne kvalita dopytov?

Rozhodujte podľa vopred stanoveného obchodného cieľa a kontrolných ukazovateľov. Kliknutia sú medzikrok; vyšší počet nevhodných kontaktov môže firmu zaťažiť.

Je A/B test vhodný pre malý firemný web?

Niekedy áno, nízky objem však môže znamenať veľmi dlhé čakanie. Najskôr zvážte kontrolu merania, opravu chýb a používateľské overenie. Zmyslom je dobré rozhodnutie, nie povinné použitie jednej metódy.

Tím LISTIFYWeby, aplikácie a marketing z Prahy od roku 2008

Ďalšie články

Všetky články →

Zdieľať stránku

E-mailom

Máte nápad?

V krátkom hovore zistíme, čo potrebujete, a navrhneme ďalší krok. Potom dostanete ponuku s pevnou cenou a termínom.

+420 771 166 199Po až Pi 8:30 až 16:00 · info@listify.cool

Kedy vám máme zavolať?

Vyberte deň a časové rozmedzie. Zavoláme my, hovor trvá zhruba 15 minút.

Deň