Zákaznícka podpora20:04
Meranie kvality asistenta AI v 500 testovacích pároch a paneli 100 odpovedí
Ako prepojiť automatickú evaluáciu s ľudským panelom: 8–14 zámerov, 500–1000 testovacích dvojíc, 100 odpovedí každé 2 týždne a audit každé 3 mesiace.

Vypočujte si zhrnutie článku
Syntetický hlas.Popisujeme tu, ako tieto procesy prebiehajú v našich implementáciách: ide o otvorený návod, nie právne posúdenie na mieru vašej firmy, konečné slovo preto patrí vášmu právnikovi. Na interných poradách o kvalite asistenta čoraz častejšie zaznieva názor, že automatická evaluácia postačuje. Zapnete RAGAS alebo Trulens, odčítate faithfulness 0,92, answer relevancy 0,87 a vyhlásite, že bot funguje správne. Znie to presvedčivo: získate konkrétne čísla, ktoré sú reprodukovateľné, nezávisia od únavy hodnotiteľa a zvládnu prejsť celú históriu konverzácií za jedinú noc. Má to reálny zmysel. Problém nastáva vo chvíli, keď výstup z hodnotiaceho LLM považujeme za jediný dôkaz, že asistent neškodí.
Najsilnejší protiargument
Zástancovia exaktných metrík majú v jednom pravdu: pri 10 000 konverzáciách denne človek neprečíta ani 1% logov, zatiaľ čo automat porovná každú odpoveď s kontextom získaným z databázy. Nástroje ako RAGAS a Trulens merajú, či sa odpoveď drží zdrojov a či zodpovedá položenej otázke. V našich testoch takýto monitoring odhalí regresiu po úprave znalostnej bázy za 30–40 minút, skôr než zasiahne jediného používateľa. Ak asistent vybaví 1 000 požiadaviek a 920 z nich má správnu odpoveď, úspešnosť dosahuje 92%, čo predstavuje výsledok pripravený pre vedenie spoločnosti.

Čo tento argument nepokrýva
Automatické metriky merajú konzistenciu so získaným kontextom, nie pravdivosť kontextu samotného. Ak znalostná báza obsahuje starý sadzobník poplatkov alebo neaktuálnu lehotu doručenia, faithfulness 0,94 znamená, že systém presne zopakoval chybu. Druhým rizikom je prílišná iniciatíva: odpoveď môže pôsobiť dôveryhodne, no zároveň prisľúbi vrátenie tovaru, ktoré pravidlá neumožňujú. Tento nedostatok neodhalí žiadna metrika LLM-as-a-judge. V e-commerce dokáže jeden neuvážený prísľub doručenia vygenerovať desiatky vratiek; v banke vedie chybná informácia o poplatku k reklamácii, ktorú analytik rieši 2 hodiny. K tomu sa pridáva strata dôvery: používateľ sa po jednej chybnej odpovedi k botovi vráti málokedy a CSAT po interakcii klesá o desiatky percentuálnych bodov skôr, než akýkoľvek automat zachytí anomáliu.
Naše stanovisko
Spoľahlivé meranie vyžaduje hybridný model: automatickú evaluáciu po každej zmene, ľudský panel každé 2 týždne a kvartálny audit na 500–1000 dvojiciach otázka–akceptačné kritérium. V našej praxi automat pokrýva 100% logov, rozhodnutie o prevádzke systému však robíme až na základe panelu. Testovaciu sadu zostavujeme z 8–14 najčastejších produkčných zámerov, pričom pre každý zámer zhromažďujeme 40 až 120 otázok: 30–35 príkladov na kategóriu tvorí hranicu, od ktorej možno počítať s chybovosťou na úrovni 10 percentuálnych bodov pri 95% intervale spoľahlivosti. Pri menšej vzorke predstavuje rozdiel medzi 85% a 88% úspešnosťou iba štatistický šum.
Okrem presnosti meriame aj mieru eskalácie na človeka, čas do vyriešenia, hrubé CSAT a náklady na odvolanie. Miera nad 25% alebo pokles CSAT o viac ako 10 bodov pri rovnakej presnosti signalizuje, že automat príliš často odkazuje na operátorov alebo používateľ nedostáva očakávaný výsledok. K tomu pristupuje regulačný aspekt: AI Act vyžaduje monitorovanie kvality údajov a transparentnosť. Záznamy konverzácií pseudonymizujeme pred odovzdaním na ľudské hodnotenie, pretože analýza vyjadrení používateľov predstavuje spracovanie osobných údajov podľa GDPR.

Pre rozhodnutia v tomto štvrťroku to znamená jedno: jednorazový report z RAGAS nestačí. Odporúčame vytvoriť súbor 500–1000 produkčných párov, spustiť dvojtýždňový panel na 100 odpovediach a naplánovať prvý kvartálny audit. Až potom uvidíte, či presnosť rastie, alebo kolíše spolu so sezónnymi kampaňami. Náš postoj by sme zmenili iba vtedy, ak by asistent pracoval v uzavretej doméne, napríklad overovanie stavu objednávky z jedného systému, kde možno každú odpoveď overiť deterministicky a automat plne nahrádza človeka. Pri otvorených otázkach na produkty, poplatky a termíny to tak nie je.
Zdrojové materiály
Podklady, ktoré sme využili pri písaní. Text vyššie je náš, tieto stránky nezodpovedajú za jeho obsah ani ho neautorizovali.
