Školenie AI sa skončilo. Ako za 30 dní zistiť, či firme niečo prinieslo
Ľudia si zo školenia odniesli nové postupy a pár vydarených ukážok. O mesiac však potrebujete vedieť, čo sa zmenilo v bežnej práci. Ukážeme, ako vybrať úlohy, zmerať čas vrátane opráv a rozhodnúť, kde má používanie AI zmysel.
Krátka odpoveď: vyberte dve opakované činnosti, zmerajte celý postup bez AI aj s AI a porovnajte hotové výsledky. Sledujte tiež opravy, náklady a prípady, keď ľudia nástroj odložia. Nasledujúcich 30 dní je náš návrh pracovného plánu, nie zákonná lehota ani záruka, že za mesiac preukážete návratnosť.
01Najprv oddeľte používanie od prínosu
Počet prihlásení ukáže, či si ľudia nástroj otvorili. Nepovie, či zákazník dostal správnu ponuku skôr. Napríklad prehľad používania Copilotu od Microsoftu sleduje využívanie podľa tímov, aplikácií a funkcií. Firma si k tomu musí pridať výsledok vlastnej práce.
Vedúci obchodného tímu môže chcieť skrátiť prípravu ponúk. Asistentka potrebuje spoľahlivo spracovať zápis z porady. Každá úloha má iné podklady aj následky chyby. Nedávajte ich do jedného priemeru a nerobte z počtu zadaní súťaž zamestnancov. Inak ľudia ľahko začnú vykazovať aktivitu namiesto užitočnej práce.
02Dni 1 až 5: Vyberte úlohu a zmerajte východiskový stav
Začnite dvoma činnosťami, ktoré sa v najbližšom mesiaci skutočne opakujú. Napríklad návrhom odpovede na bežný dopyt a zhrnutím podkladov na stretnutie. Pri každej napíšte, kde sa začína a kedy je hotová. Za koniec nepovažujte prvý vygenerovaný text, ale výsledok, ktorý môže zodpovedný človek prevziať.
Pripravte jednoduchú evidenciu. Nemusíte kupovať ďalší systém: na pilot zvyčajne stačí zdieľaná tabuľka s obmedzeným prístupom. Neukladajte do nej celé zákaznícke dokumenty, ak na meranie stačí číslo úlohy.
| Čo zapisovať | Na čo to slúži |
|---|---|
| Typ a náročnosť úlohy | Odlíši bežnú otázku od zložitej výnimky. |
| Čas prípravy, spracovania a kontroly | Ukáže, kam sa práca presunula. |
| Prijaté, opravené, odmietnuté | Rozlíši použiteľný výsledok od rýchleho návrhu. |
| Dôvod opravy alebo nepoužitia AI | Pomôže upraviť postup alebo vybrať inú úlohu. |
Ak školenie už prebehlo a nemáte meranie spred neho, priznajte to. Zmerajte súčasný postup bez AI na nových porovnateľných úlohách. Spätný odhad „predtým nám to trvalo hodinu“ pomôže pri rozhovore, no nenahradí zmeraný východiskový stav.
03Dni 6 až 12: Určite, čo znamená dobrý výsledok
Pri obchodnej odpovedi to môže byť správna cena z podkladov, žiadny vymyslený termín, zodpovedané otázky a prirodzený jazyk. Chyby rozdeľte podľa následkov: preklep a neoprávnený prísľub zákazníkovi nie sú rovnaký problém. Výsledok so závažnou chybou nesmie prejsť len preto, že vznikol rýchlo.
NIST v profile pre generatívnu AI upozorňuje na presvedčivo podané nepravdivé výstupy a odporúča overovanie oproti známym správnym podkladom. Pre pilot preto určite človeka, ktorý obsahu rozumie a chybu dokáže rozpoznať.
Vyskúšajte si hodnotenie spoločne na niekoľkých výsledkoch. Ak sa dvaja kolegovia nezhodnú, čo už je prijateľná ponuka, najprv spresnite pravidlá. Kde je to možné, hodnotiteľovi neukazujte, či text vznikol s AI. Pri skúšaní používajte len schválené nástroje a podklady, s ktorými v nich smiete pracovať.
04Dni 13 až 23: Porovnávajte podobnú prácu
Jednoduché dopyty porovnávajte s jednoduchými a zložité so zložitými. Do oboch skupín zahrňte ľudí s rôznymi skúsenosťami. Ak ten istý človek rieši rovnaký dokument druhýkrát, odpoveď už pozná; takéto zrýchlenie nemožno celé pripísať AI. Vhodnejšie sú rôzne úlohy rovnakého typu a podobnej náročnosti.
Zapisujte aj neúspešné pokusy. Príprava podkladov, zadanie, ďalšie pokyny, overenie údajov, úprava štýlu aj prenos do CRM, systému na evidenciu zákazníkov, patria do celkového času. Čakanie na odpoveď nástroja odlíšte od času, počas ktorého na úlohe skutočne pracuje človek. Oboje môže byť dôležité, ale pre iné rozhodnutie.
Modelový príklad: bežná odpoveď zaberie bez AI 18 minút. S AI sú to 3 minúty prípravy, 2 minúty tvorby návrhu, 8 minút kontroly a opráv a minúta vloženia do systému. Spolu 14 minút, teda rozdiel 4 minúty. Pri 60 podobných odpovediach mesačne by to boli 4 hodiny kapacity. Ide o ukážku výpočtu, nie o nameraný výsledok LISTIFY alebo prísľub úspory.
- Bez AI18
- S AI vrátane kontroly14
Ilustračný výpočet z článku. Nejde o nameranú úsporu ani o výsledok zákazníka LISTIFY.
Štyri voľné hodiny ešte neznamenajú nižšie mzdové náklady. Napíšte, na čo ich tím využije: rýchlejšie vybavenie čakajúcich požiadaviek, viac ponúk alebo menšiu potrebu nadčasov. Licencie, školenie, prípravu šablón a podporu evidujte samostatne, aby sa nestratili za úsporou času.
05Dni 24 až 30: Rozhodnite, čo bude pokračovať
Pri každej úlohe zhrňte počet prípadov, typický čas spracovania, rozdiely medzi jednotlivými prípadmi a počet opráv. Pri malej vzorke priložte konkrétne prípady a napíšte, čo ešte neviete. Porovnanie pred školením a po ňom samo neoddelí vplyv školenia, nástroja, skúseností a zmeny skladby zákaziek.
Britský vládny AI Playbook odporúča priebežne overovať kvalitu a vhodnosť systému. Pre firemný pilot z toho vyplýva praktický krok: rozhodnutie opäť posúdiť po zmene nástroja, podkladov alebo pracovného postupu.
- Pokračovať: výsledok spĺňa pravidlá a celý postup tímu dáva zmysel.
- Upraviť: prínos brzdia chýbajúce podklady, kontrola alebo prepisovanie medzi aplikáciami.
- Zastaviť alebo predĺžiť meranie: chyby sú závažné, prínos sa neukázal alebo je prípadov málo.
Človek zodpovedný za každú úlohu dostane jeden konkrétny ďalší krok a termín kontroly. Ak je problémom ručný prenos medzi aplikáciami, môže pomôcť prepojenie systémov. Ďalšie všeobecné školenie tento problém samo nevyrieši.
06Časté otázky
Stačí dotazník po školení?
Ukáže spokojnosť a prekážky. Záver o prínose však potrebuje aj vzorku dokončenej práce, meranie času a kontrolu kvality.
Musíme vyhodnotiť každého človeka zvlášť?
Pri prvom rozhodovaní býva užitočnejšie hodnotiť konkrétnu úlohu a tím. Rozdiely v skúsenostiach zohľadnite, no nerobte z merania rebríček ľudí.
Čo ak je tridsať dní málo?
Pri zriedkavých alebo dlhých úlohách meranie predĺžte. Po mesiaci môžete dospieť aj k záveru, že zatiaľ nemáte dosť podkladov.
07Nadviažeme na školenie konkrétnou prácou
Pošlite nám dve činnosti, ktoré chcete zrýchliť, a ukážku súčasného postupu. V rámci AI pre firmy s vami môžeme pripraviť pilot, pravidlá kontroly a vyhodnotenie, z ktorého vyplynie ďalší krok.