Klienditeenindus20:04
Tehisintellekti assistendi kvaliteedi mõõtmine 500 testpaari ja 100 vastuse paneeliga
Kuidas ühendada automaatne hindamine inimrühmaga: 8–14 kavatsust, 500–1000 testpaari, 100 vastust iga 2 nädala tagant ja audit iga 3 kuu tagant.

Kuula artikli kokkuvõtet
Sünteetiline hääl.Kirjeldame siin oma juurutuskogemust. See on avalik juhend, mitte teie ettevõttele koostatud juriidiline arvamus, seega jätke viimane sõna oma juristile. Sisekoosolekutel assistendi kvaliteedi üle kõlab üha sagedamini seisukoht, et automaatsest hindamisest piisab. Lülitate sisse RAGAS-i või Trulensi, näete tulemusi faithfulness 0,92 ja answer relevancy 0,87 ning teatate, et bot vastab hästi. See kõlab veenvalt: saate arvud, need on korratavad, ei sõltu hindaja väsimusest ja suudavad kontrollida kogu vestlusajaloo ühe ööga. Selles on palju loogikat. Probleem algab siis, kui LLM-kohtuniku tulemust peetakse ainsaks tõendiks, et assistent ei tee kahju.
Teise poole tugevaim argument
Täpsete mõõdikute pooldajatel on õigus ühes: 10 000 vestluse juures päevas ei suuda inimene läbi lugeda isegi 1% logidest, automaat aga võrdleb iga vastust andmebaasist võetud kontekstiga. Tööriistad nagu RAGAS ja Trulens mõõdavad, kas vastus põhineb allikatel ja kas see vastab küsimusele. Meie testides tabab selline seire teadmusbaasi uuendamise järgse regressiooni 30–40 minutiga, enne kui see jõuab ühegi kasutajani. Kui assistent teenindab 1000 päringut ja 920 lõppevad õige vastusega, on täpsus 92%, ning seda tulemust saab esitada juhatusele.

Mida see argument ei hõlma
Automaatsed mõõdikud mõõdavad kooskõla allalaaditud kontekstiga, mitte konteksti enda tõepärasust. Kui teadmusbaas sisaldab vana tasude tabelit või aegunud tarneaega, tähendab faithfulness 0,94 seda, et süsteem kordas vea täpselt üle. Teine pimeala on liigne innukus: vastus võib tunduda usaldusväärne, kuid lubada tagastust, mida tingimustes ei ole. Seda ei märka ükski LLM-as-a-judge näitaja. E-kaubanduses võib üks liiga kindel tarne lubadus tekitada tosin tagastust; pangas toob eksitav vastus teenustasu kohta kaasa kaebuse, mille menetlemine võtab analüütikult 2 tundi. Lisandub usalduse kadumise kulu: kasutaja naaseb pärast ühte valet vastust harva boti juurde ning interaktsioonijärgne CSAT langeb tosin protsendipunkti enne, kui automaatika probleemi märkab.
Meie seisukoht
Hea mõõtmine on hübriid: automaatne hindamine pärast iga muudatust, inimrühm iga 2 nädala tagant ja kvartaalne audit 500–1000 küsimuse ja heakskiidukriteeriumi paaril. Meie protsess toimib nii: automaatika katab 100% logidest, kuid süsteemi käigushoidmise otsus tehakse alles pärast inimrühma ülevaatust. Testkomplekti koostame 8–14 tootmises levinuima kavatsuse põhjal ning iga kavatsuse kohta kogume 40–120 küsimust. Seejuures on 30–35 näidet klassi kohta piir, millest alates saab rääkida 10 protsendipunkti suurusest veamäärast 95% usaldusvahemikuga. Sellest väiksema valimi korral on erinevus 85% ja 88% täpsuse vahel pelk statistiline müra.
Lisaks täpsusele mõõdame ka inimesele suunamise määra, lahendusaega, toorest CSAT-skoori ja tagasivõtmise kulu. Üle 25% määr või CSAT langus rohkem kui 10 punkti võrra sama täpsuse juures viitab sellele, et automaatika suunab liiga tihti inimestele või kasutaja ei saa oodatud tulemust. Lisandub regulatiivne aspekt: AI Act nõuab andmekvaliteedi ja läbipaistvuse jälgimist ning vestluslogid pseudonümiseeritakse enne inimesepoolset hindamist, kuna kasutajate ütluste analüüs on isikuandmete töötlemine GDPR tähenduses.

Selle kvartali otsuse jaoks tähendab see ühte: ühekordsest RAGAS raportist ei piisa. Tasub luua 500–1000 paarist koosnev tootmiskomplekt, käivitada kahenädalane paneel 100 vastusel ning planeerida esimene kvartaliaudit. Alles siis on näha, kas täpsus kasvab või triivib koos hooajaliste kampaaniatega. Muudaksime seda seisukohta, kui assistent töötaks suletud domeenis, näiteks tellimuse staatus ühest süsteemist, kus iga vastust saab kontrollida deterministlikult ja automaatika asendab inimest täielikult. Avatud küsimuste puhul toodete, tasude ja tähtaegade kohta see nii ei ole.
Allikmaterjalid
Materjalid, mida kasutasime kirjutamisel. Ülaltoodud tekst on meie oma; need veebilehed ei vastuta selle sisu eest ega ole seda autoriseerinud.
