Číslo, které nikdo nezměřil, ale všichni ho citují
„Firmy díky AI ušetří čtyřicet procent času.“ Podobná věta koluje po prezentacích, webinářích a nabídkách softwarových firem už léta, a čím častěji se opakuje, tím jistěji zní. Problém je, že se skoro nikdy neříká, na jakém vzorku, u jaké práce a jak přesně se to měřilo. Číslo se osamostatnilo od měření, ze kterého mělo vzejít.
Tenhle text nechce nabídnout jiné, přesnější číslo místo něj. Chce ukázat, co se dá o přínosu AI ve firmě zjistit spolehlivě vlastním měřením, a co je potřeba nechat být, protože spolehlivé měření prostě neumožňuje.
Co se dá měřit spolehlivě
Míra skutečného používání. Kolik lidí, kteří mají přístup k nástroji, ho v daném týdnu opravdu otevřelo. Tohle číslo se dá zjistit přímo ze statistik nástroje nebo správce licencí a je to nejzákladnější ukazatel, protože nezaplacená, ale nepoužívaná licence žádný přínos přinést nemůže.
Čas na konkrétní opakující se úkol. Vyberte jednu činnost, která se ve firmě děje pravidelně, třeba příprava standardní nabídky nebo zápis ze schůzky. Změřte, jak dlouho trvá bez nástroje na vzorku deseti až dvaceti případů. Po zavedení nástroje změřte totéž na srovnatelném vzorku. Rozdíl mezi oběma čísly je měřený přínos, ne odhad.
Míra chyb a přepracování. Kolik výstupů z nástroje muselo někdo po kontrole opravit, a jak zásadně. Tohle číslo firmy často opomíjejí, protože sledují jen to, jestli je nástroj rychlejší, ne jestli výsledek obstojí bez oprav.
Rychlost odezvy zákazníkům. Pokud firma eviduje čas od dotazu k odpovědi v helpdesku nebo v CRM, dá se to srovnat před a po zavedení nástroje na komunikaci se zákazníky. Je to jeden z mála ukazatelů, který se dá měřit, aniž by firma cokoli speciálně nastavovala, protože systém ho už eviduje sám.
Co se měřit spolehlivě nedá
Sebehodnocený odhad ušetřeného času. Otázka „kolik času týdně vám nástroj ušetří“ zní jako měření, ale je to odhad, který zkresluje hned několik věcí najednou: novinkový efekt, touha odpovědět tak, jak si člověk myslí, že se od něj čeká, a prostá neschopnost přesně odhadnout čas strávený činností, kterou si člověk sám nezaznamenává.
Přímá atribuce tržeb nebo zisku. Kolik z růstu tržeb má na svědomí konkrétní AI nástroj, nejde spolehlivě oddělit od vlivu sezónnosti, konkurence, cen nebo poptávky. Kdo takové číslo přesto uvede, obvykle jen vybral verzi příběhu, která se mu hodí, ne výsledek skutečného měření.
Srovnání s celoodvětvovými čísly z marketingu. Procenta úspory uváděná dodavateli softwaru vycházejí z jejich vlastních referenčních zákazníků, ne z vaší firmy, vašich dokumentů a vašich lidí. Použít cizí číslo jako vlastní odhad je přesně ten typ chyby, před kterým tenhle text varuje.
Past jménem novinkový efekt
Tohle je nejčastější důvod, proč se měření pokazí i u firem, které to myslí poctivě. V prvních týdnech po zavedení nového nástroje bývá nadšení, pozornost a ochota ho zkoušet vyšší, než se ustálí později. Firma, která změří přínos hned v prvním měsíci, obvykle naměří číslo lepší, než jaké nástroj přinese v šestém měsíci provozu, kdy novinka zevšední a lidé se vrátí k části svých starých návyků.
Řešení není složité, jen vyžaduje trpělivost: měřit ve dvou vlnách, jednou brzy po zavedení a podruhé s odstupem několika měsíců, a věřit spíš druhému číslu než prvnímu.
Jak si to postavit bez datového týmu
Firma nepotřebuje analytika ani speciální software, aby si přínos změřila. Stačí čtyři kroky, které se dají zvládnout v tabulce:
- Vyberte jeden konkrétní úkol. Ne „práci s AI obecně“, ale jednu opakující se činnost, třeba přípravu měsíčního reportu.
- Změřte výchozí stav. Kolik takových úkolů se udělá za týden a jak dlouho každý trvá, na vzorku aspoň deseti opakování.
- Zaveďte nástroj a měřte znovu po nějaké době. Ne hned první týden, ale s odstupem, který přečká novinkový efekt.
- Srovnejte a zapište si, co se změnilo, včetně toho, co se nezměnilo. Přiznaný nulový nebo malý přínos u jednoho úkolu je užitečná informace stejně jako velký přínos u jiného, protože ukazuje, kam se má energie příště zaměřit.
Kdo ve firmě měření dělá
Měření nemusí dělat samostatné oddělení ani externí analytik. Stačí jeden člověk, který má na starosti sledovat, jak konkrétní nástroj lidé používají, a který si vezme na starost zapsat čísla před zavedením a po něm. Důležitější než kdo to dělá je to, že se měření děje na stejném místě a stejným způsobem pokaždé, ne že si každé oddělení počítá po svém a čísla se pak nedají srovnat.
Menší firmy tohle často řeší tak, že měření svěří stejnému člověku, který má na starosti zavádění nástroje jako takové. Výhoda je, že tenhle člověk už dění kolem nástroje sleduje průběžně, takže sběr čísel není samostatný projekt navíc, ale přirozené rozšíření práce, kterou stejně dělá.
Kvalitativní signály mají taky svou hodnotu
Ne všechno, co se hodí sledovat, se dá vyjádřit číslem, a to není důvod to přeskočit. Krátký a pravidelný dotaz mezi lidmi, kteří nástroj používají, co konkrétně je zdržuje nebo co jim naopak ušetřilo nejvíc práce, dává informaci, kterou žádné automatické počítadlo nezachytí.
Rozdíl proti sebehodnocenému odhadu ušetřeného času je v tom, na co se ptáte. Otázka „kolik hodin jste ušetřili“ vede k vymyšlenému číslu. Otázka „co konkrétně vám nástroj tenhle týden usnadnil a co naopak zdrželo“ vede ke konkrétnímu popisu, ze kterého se dá odvodit, kde nástroj funguje a kde ne, aniž by šlo o tvrzení, které nejde ověřit.
Na jak dlouhé období měřit
Krátké měření zkreslí novinkový efekt, příliš dlouhé zase riskuje, že se mezitím ve firmě změní tolik dalších věcí, že přínos nástroje splyne s nimi. Rozumný kompromis, který doporučujeme na školeních, je první měření s odstupem zhruba měsíce od zavedení a druhé s odstupem tří až čtyř měsíců. Pokud se obě čísla podobají, je to silný signál, že přínos je skutečný, ne jen dočasné nadšení.
Přehled: počítat, nebo nepočítat
| Ukazatel | Počítat | Nepočítat |
|---|---|---|
| Míra skutečného používání nástroje | Ano, ze statistik správce licencí | |
| Čas na konkrétní úkol před a po | Ano, na srovnatelném vzorku | |
| Míra chyb a přepracování výstupu | Ano | |
| Rychlost odezvy zákazníkům | Ano, pokud to systém eviduje | |
| Sebehodnocený odhad ušetřeného času | Nespolehlivé, silně zkreslené | |
| Přímá atribuce tržeb k jednomu nástroji | Téměř nikdy spolehlivé | |
| Cizí procenta úspory z marketingu dodavatele | Neplatí pro vaši práci |
Proč naše materiály čísla úspor neuvádí
Tenhle text sám dodržuje to, co doporučuje. Kdybychom napsali, že náš kurz firmám ušetří konkrétní procento času nebo peněz, muselo by to být buď vymyšlené číslo, nebo průměr z tak různorodých firem, že by nevypovídal o té vaší. Radši popíšeme metodu, jak si přínos změřit sami, na vlastní práci, než abychom nabídli číslo, za kterým nic neověřitelného nestojí.
Souvisí to i s tím, jak se ve firmách mluví o obavě, že AI nahradí lidi, o čemž píšeme v samostatném článku. Přesné měření, co nástroj skutečně dělá a co ne, je lepší odpověď na tuhle obavu než jakékoli ujišťování bez čísel za ním.
Kde v tom stojíme my
Neslibujeme klientům procenta úspory, protože bychom si je museli vymyslet. Co učíme, je právě tahle dovednost: jak si vybrat jednu úlohu, změřit ji poctivě a rozhodnout se na základě vlastních dat, ne cizích marketingových čísel.
V padesátihodinovém kurzu AI pro zaměstnance je měření přínosu součástí závěrečného modulu, navazuje na postup zavádění popsaný v samostatném článku a cvičí se na skutečné práci konkrétní firmy. Při schválené žádosti kurz hradí program Úřadu práce, kolik z ceny pokryje ve vašem případě, spočítáme písemně dopředu.
Časté dotazy
O autorovi
Lektor firemních kurzů AI
Bývalý pedagog, dnes vývojář a expert Inovačního centra Ústeckého kraje. Proškolil stovky pedagogů a stovky zaměstnanců firem.
- AI automatizace
- Interní nástroje
- Digitální gramotnost