Eiti į turinį

Klientų aptarnavimas20:04

DI asistento kokybės matavimas su 500 testinių porų ir 100 atsakymų imtimi

Kaip suderinti automatinį vertinimą su žmonių komisija: 8–14 ketinimų, 500–1000 testinių porų, 100 atsakymų kas 2 savaites ir auditas kas 3 mėnesius.

Paveikslėlis sugeneruotas DI.

Klausytis straipsnio santraukos

Sintetinis balsas.
0:00
0:00

Čia aprašome, kaip tai atrodo mūsų projektuose. Tai viešas vadovas, o ne nuomonė, parengta specialiai Jūsų įmonei, todėl galutinį žodį palikite savo teisininkui. Vidiniuose susitikimuose apie asistento kokybę vis dažniau išgirstame teiginį, kad automatinio vertinimo pakanka. Įjungiate RAGAS arba Trulens, peržiūrite faithfulness 0,92, answer relevancy 0,87 ir paskelbiate, kad robotas atsako gerai. Tai skamba įtikinamai: gaunate skaičius, jie yra pakartojami, nepriklauso nuo vertintojo nuovargio ir gali per vieną naktį apdoroti visą pokalbių istoriją. Ir tai turi pagrindo. Problema kyla tada, kai LLM vertintojo rezultatą laikome vieninteliu įrodymu, kad asistentas nekenkia.

Stipriausias kitos pusės argumentas

Griežtų metrikų šalininkai teisūs dėl vieno: kai vyksta 10 000 pokalbių per dieną, žmogus neperskaitys nė 1 % žurnalų, o automatizuota sistema palygins kiekvieną atsakymą su iš duomenų bazės gautu kontekstu. Tokie įrankiai kaip RAGAS ir Trulens matuoja, ar atsakymas remiasi šaltiniais ir ar atitinka klausimą. Mūsų bandymuose toks stebėjimas per 30–40 minučių aptinka kokybės regresiją pakeitus žinių bazę, dar prieš tai, kai ji pasiekia bent vieną naudotoją. Jei asistentas apdoroja 1 000 užklausų, o 920 iš jų baigiasi teisingu atsakymu, tikslumas siekia 92 %. Tokį variantą galima pristatyti vadovybei.

Paveikslėlis sugeneruotas DI.

Ko šis argumentas neapima

Automatinės metrikos matuoja atitiktį gautam kontekstui, o ne paties konteksto teisingumą. Jei žinių bazėje yra sena mokesčių lentelė arba nebeaktualus pristatymo laikas, faithfulness 0,94 reiškia, kad sistema tiksliai pakartojo klaidą. Antra silpnoji vieta yra perdėtas užtikrintumas: atsakymas gali skambėti patikimai ir kartu žadėti grąžinimą, kurio nenumato taisyklės. To neaptiks nė vienas LLM-as-a-judge rodiklis. Elektroninėje prekyboje vienas pernelyg užtikrintas pažadas dėl pristatymo gali paskatinti keliolika grąžinimų. Banke klaidingas atsakymas apie komisinį mokestį baigiasi skundu, kurį analitikas nagrinėja 2 valandas. Taip pat nukenčia pasitikėjimas: po vieno neteisingo atsakymo naudotojas retai vėl kreipiasi į robotą, o CSAT po sąveikos sumažėja keliolika procentinių punktų, kol automatizuota sistema pastebi problemą.

Mūsų pozicija

Geras vertinimas yra hibridinis: automatinis vertinimas po kiekvieno pakeitimo, žmonių komisija kas 2 savaites ir ketvirtinis auditas, apimantis 500–1000 klausimo ir priėmimo kriterijaus porų. Pas mus tai vyksta taip: automatizuota sistema aprėpia 100 % žurnalų, tačiau sprendimą, ar sistema gali veikti toliau, priimame tik po komisijos vertinimo. Testų rinkinį sudarome iš 8–14 dažniausių produkcinės aplinkos ketinimų, o kiekvienam ketinimui surenkame nuo 40 iki 120 klausimų. 30–35 pavyzdžiai vienai klasei yra riba, nuo kurios galima kalbėti apie 10 procentinių punktų paklaidą esant 95 % pasikliautinajam intervalui. Esant mažesnei imčiai, skirtumas tarp 85 % ir 88 % tikslumo yra statistinis triukšmas.

Be tikslumo, vertiname dar kelis rodiklius: perdavimo žmogui rodiklį, išsprendimo laiką, grynąjį CSAT ir eskalavimo kaštus. Didesnis nei 25% rodiklis arba CSAT kritimas daugiau nei 10 punktų esant tam pačiam tikslumui rodo, kad sistema per dažnai nukreipia į specialistus arba naudotojas negauna laukto rezultato. Prisideda ir teisiniai reikalavimai: AI Act reikalauja duomenų kokybės ir skaidrumo stebėsenos, o pokalbių žurnalus pseudoniminame prieš pateikdami juos žmogaus vertinimui, nes naudotojų pranešimų analizė yra asmens duomenų tvarkymas pagal BDAR.

Paveikslėlis sugeneruotas DI.

Priimant sprendimą šį ketvirtį, tai reiškia viena: vienkartinės RAGAS ataskaitos nepakanka. Rekomenduojama paruošti 500–1000 porų rinkinį iš produkcinės aplinkos, paleisti kas dvi savaites atliekamą 100 atsakymų peržiūrą ir suplanuoti pirmąjį ketvirtinį auditą. Tik tada matyti, ar tikslumas auga, ar kinta kartu su sezoninėmis akcijomis. Pakeistume šį požiūrį tik tada, jei asistentas veiktų uždaroje srityje, pavyzdžiui, tikrinant užsakymo būseną iš vienos sistemos, kur kiekvieną atsakymą galima patikrinti deterministiškai ir automatinis sprendimas visiškai pakeičia žmogų. Atsakant į atvirus klausimus apie produktus, kainas ir terminus, situacija yra kitokia.

Šaltiniai

Šaltiniai, kuriais rėmėmės rašydami. Šis tekstas yra mūsų; šios svetainės neatsako už jo turinį ir jo neautorizavo.

Pokalbis be jokių įsipareigojimų

Užsakyti praktinius mokymus su Paul

Trisdešimt minučių arba visi praktiniai mokymai, pasirinkite patys. Laiką rezervuojate kalendoriuje, patvirtinimą gaunate iš karto.

Paul Lazniak

HEXART įkūrėjas