Školení AI skončilo. Jak za 30 dní zjistit, jestli firmě něco přineslo
Lidé si ze školení odnesli nové postupy a pár povedených ukázek. O měsíc později ale potřebujete vědět, co se změnilo v běžné práci. Ukážeme, jak vybrat úlohy, změřit čas včetně oprav a rozhodnout, kde má používání AI smysl.
Krátká odpověď: vyberte dvě opakované činnosti, změřte celý postup bez AI a s AI a porovnejte hotové výsledky. Sledujte také opravy, náklady a situace, kdy lidé nástroj odloží. Následujících 30 dní je náš návrh pracovního plánu, nikoli zákonná lhůta ani záruka, že za měsíc prokážete návratnost.
01Nejdřív oddělte používání od přínosu
Počet přihlášení ukáže, zda si lidé nástroj otevřeli. Neřekne, jestli zákazník dostal správnou nabídku dřív. Třeba přehled používání Copilotu od Microsoftu sleduje používání podle týmů, aplikací a funkcí. K tomu si firma musí přidat výsledek vlastní práce.
Vedoucí obchodního týmu může chtít kratší přípravu nabídek. Asistentka potřebuje spolehlivě zpracovat zápis z porady. Každá úloha má jiné podklady i cenu chyby. Neházejte je do jednoho průměru a nedělejte z počtu dotazů soutěž zaměstnanců. Jinak lidé snadno začnou vykazovat aktivitu místo užitečné práce.
02Dny 1 až 5: Vyberte úlohu a změřte výchozí stav
Začněte dvěma činnostmi, které se v příštím měsíci opravdu opakují. Například návrh odpovědi na běžnou poptávku a shrnutí podkladů pro schůzku. U každé napište, kde začíná a kdy je hotová. Za konec nepovažujte první vygenerovaný text, ale výsledek, který odpovědný člověk může převzít.
Připravte jednoduchý záznam. Není potřeba pořizovat další systém: pro pilot obvykle stačí sdílená tabulka s omezeným přístupem. Nesbírejte do ní celé zákaznické dokumenty, pokud pro měření stačí číslo úkolu.
| Co zapisovat | K čemu to slouží |
|---|---|
| Typ a obtížnost úlohy | Oddělí běžný dotaz od složité výjimky. |
| Čas přípravy, zpracování a kontroly | Ukáže, kam se práce přesunula. |
| Přijato, opraveno, odmítnuto | Rozliší použitelný výsledek od rychlého návrhu. |
| Důvod opravy nebo nepoužití AI | Pomůže upravit postup nebo vybrat jinou úlohu. |
Pokud školení už proběhlo a měření před ním nemáte, přiznejte to. Změřte současný postup bez AI na nových srovnatelných úkolech. Zpětný odhad „dřív nám to trvalo hodinu“ může pomoct při rozhovoru, ale není rovnocenný měřenému základu.
03Dny 6 až 12: Určete, co znamená dobrý výsledek
Pro obchodní odpověď to může být správná cena z podkladů, žádný vymyšlený termín, zodpovězené otázky a přirozený jazyk. Chyby rozdělte podle následku: překlep a neoprávněný slib zákazníkovi nejsou stejný problém. Výsledek s vážnou chybou nesmí projít jen proto, že vznikl rychle.
NIST v profilu pro generativní AI upozorňuje na přesvědčivě podané nepravdivé výstupy a doporučuje ověřování proti známým správným podkladům. Pro pilot proto určete člověka, který obsahu rozumí a chybu dokáže rozpoznat.
Vyzkoušejte hodnocení společně na několika výsledcích. Pokud se dva kolegové neshodnou, co už je přijatelná nabídka, nejdřív zpřesněte pravidla. Kde je to možné, hodnotiteli neukazujte, zda text vznikl s AI. Pro test používejte jen schválené nástroje a podklady, se kterými v nich smíte pracovat.
04Dny 13 až 23: Porovnávejte podobnou práci
Jednoduché poptávky porovnávejte s jednoduchými a složité se složitými. Do obou skupin zahrňte lidi s různou zkušeností. Pokud stejný člověk řeší tentýž dokument podruhé, bude už znát odpověď; takové zrychlení nelze celé připsat AI. Lepší jsou různé úkoly stejného typu a podobné obtížnosti.
Zapisujte i neúspěšné pokusy. Příprava podkladů, zadání, další pokyny, ověření údajů, úprava stylu a přenos do CRM, systému pro evidenci zákazníků, patří do celkového času. Čekání na odpověď nástroje rozlišujte od času, kdy na úloze skutečně pracuje člověk. Obojí může být důležité, ale pro jiné rozhodnutí.
Modelový příklad: běžná odpověď zabere bez AI 18 minut. S AI jsou to 3 minuty přípravy, 2 minuty tvorby návrhu, 8 minut kontroly a oprav a minuta vložení do systému. Celkem 14 minut, tedy rozdíl 4 minuty. Při 60 podobných odpovědích měsíčně by to byly 4 hodiny kapacity. Je to ilustrace výpočtu, nikoli naměřený výsledek LISTIFY nebo slib úspory.
- Bez AI18
- S AI včetně kontroly14
Ilustrační výpočet z článku. Nejde o naměřenou úsporu ani o výsledek zákazníka LISTIFY.
Čtyři volné hodiny ještě nejsou nižší mzdový náklad. Napište, k čemu je tým využije: rychlejší vyřízení fronty, více nabídek nebo menší potřeba přesčasů. Licence, školení, přípravu šablon a podporu evidujte samostatně, aby se neztratily za úsporou času.
05Dny 24 až 30: Rozhodněte, co pokračuje
Za každou úlohu shrňte počet případů, typickou dobu zpracování, rozptyl výsledků a počet oprav. U malého vzorku přiložte konkrétní případy a napište, co ještě nevíte. Porovnání před a po školení samo neoddělí vliv školení, nástroje, zkušenosti a změny skladby zakázek.
Britský vládní AI Playbook doporučuje ověřovat kvalitu a vhodnost systému průběžně. Z tohoto principu pro firemní pilot vyplývá praktický krok: rozhodnutí obnovit po změně nástroje, podkladů nebo pracovního postupu.
- Pokračovat: výsledek splňuje pravidla a celá práce dává týmu smysl.
- Upravit: přínos brzdí chybějící podklady, kontrola nebo přepisování mezi aplikacemi.
- Zastavit či prodloužit měření: chyby jsou závažné, přínos se neukázal nebo je případů příliš málo.
Vlastník každé úlohy dostane jeden konkrétní další krok a termín kontroly. Když problém způsobuje ruční přenos mezi aplikacemi, může pomoci propojení systémů. Další obecné školení tento problém samo nevyřeší.
06Časté otázky
Stačí dotazník po školení?
Ukáže spokojenost a překážky. Pro závěr o přínosu ho doplňte vzorkem dokončené práce, měřením času a kontrolou kvality.
Musíme vyhodnotit každého člověka zvlášť?
Pro první rozhodnutí bývá užitečnější hodnotit konkrétní úlohu a tým. Rozdíly zkušeností zachovejte v kontextu, ale z měření nedělejte žebříček lidí.
Co když je třicet dní málo?
U vzácných nebo dlouhých úloh měření prodlužte. Po měsíci můžete rozhodnout i to, že zatím chybí dost podkladů.
07Navážeme na školení konkrétní prací
Pošlete nám dvě činnosti, které chcete zrychlit, a ukázku jejich dnešního postupu. V rámci AI pro firmy s vámi můžeme připravit pilot, pravidla kontroly a vyhodnocení, ze kterého vyplyne další krok.