Pomiar jakości asystenta AI w 500 parach testowych i panelu 100 odpowiedzi

Zapisujemy tu, jak takie rzeczy wyglądają u nas na wdrożeniach — to otwarty poradnik, a nie opinia przygotowana pod Twoją firmę, więc ostatnie słowo zostaw swojemu prawnikowi. Na wewnętrznych spotkaniach o jakości asystenta coraz częściej pada zdanie, że automatyczna ewaluacja wystarczy. Włączasz RAGAS albo Trulensa, czytasz faithfulness 0,92, answer relevancy 0,87 i ogłaszasz, że bot odpowiada dobrze. To brzmi przekonująco: dostajesz liczby, są powtarzalne, nie zależą od zmęczenia recenzenta i potrafią przejść przez całą historię rozmów w jedną noc. I jest w tym sporo sensu. Problem zaczyna się, gdy wynik z sędziego LLM traktujemy jako jedyny dowód, że asystent nie robi krzywdy.

Najmocniejszy argument drugiej strony

Zwolennicy twardych metryk mają rację w jednym: przy 10 000 rozmów dziennie człowiek nie przeczyta nawet 1% logów, a automat porówna każdą odpowiedź z kontekstem pobranym z bazy. Narzędzia pokroju RAGAS i Trulens mierzą, czy odpowiedź trzyma się źródeł i czy jest adekwatna do pytania. W naszych testach taki monitoring wyłapuje regresję po podmianie bazy wiedzy w 30–40 minut, zanim zdąży trafić do choćby jednego użytkownika. Jeśli asystent obsłuży 1 000 zapytań i 920 kończy się poprawną odpowiedzią, trafność wynosi 92%, a to jest wariant, który da się pokazać zarządowi.

Czego ten argument nie obejmuje

Automatyczne metryki mierzą spójność z pobranym kontekstem, a nie prawdziwość samego kontekstu. Jeśli baza wiedzy zawiera starą tabelę opłat albo nieaktualny czas dostawy, faithfulness 0,94 oznacza, że system wiernie powtórzył błąd. Drugi ślepy punkt to nadgorliwość: odpowiedź może być wiarygodna, a jednocześnie obiecywać zwrot, którego nie ma w regulaminie. Tego nie zobaczy żaden wskaźnik LLM-as-a-judge. W e-commerce jedna zbyt pewna obietnica dostawy potrafi wygenerować kilkanaście zwrotów; w banku błędna odpowiedź o prowizji kończy się reklamacją, którą analityk czyta przez 2 godziny. Do tego dochodzi koszt degradacji zaufania: użytkownik po jednej złej odpowiedzi rzadko wraca do bota, a CSAT po interakcji spada o kilkanaście punktów procentowych, zanim jakikolwiek automat wykryje problem.

Nasze stanowisko

Dobry pomiar to hybryda: automatyczna ewaluacja po każdej zmianie, ludzki panel co 2 tygodnie i kwartalny audyt na 500–1000 parach pytanie–kryterium akceptacji. U nas wygląda to tak: automat obejmuje 100% logów, ale decyzję o utrzymaniu systemu podejmujemy dopiero po panelu. Zestaw testowy budujemy z 8–14 najczęstszych intencji produkcyjnych, a dla każdej intencji zbieramy od 40 do 120 pytań — przy czym 30–35 przykładów na klasę to granica, od której można mówić o błędzie rzędu 10 punktów procentowych z przedziałem ufności 95%. Poniżej tej próby różnica między 85% a 88% trafności jest statystycznym szumem.

Poza trafnością mierzymy jeszcze wskaźnik eskalacji do człowieka, czas do rozwiązania, surowy CSAT i koszt odwołania. Wskaźnik powyżej 25% albo spadek CSAT o więcej niż 10 punktów przy tej samej trafności to sygnał, że automat za często odsyła do ludzi albo użytkownik nie dostaje tego, czego oczekiwał. Do tego dochodzi aspekt regulacyjny: AI Act wymaga monitorowania jakości danych i przejrzystości, a logi z rozmów pseudonimizujemy, zanim trafią do oceny ludzkiej, bo analiza wypowiedzi użytkowników to przetwarzanie danych osobowych w rozumieniu RODO.

Na decyzję w tym kwartale to oznacza jedno: nie wystarczy jednorazowy raport z RAGAS. Warto zbudować zestaw 500–1000 par z produkcji, uruchomić panel dwutygodniowy na 100 odpowiedziach i zaplanować pierwszy audyt kwartalny. Wtedy dopiero widać, czy trafność rośnie, czy dryfuje razem z sezonowymi promocjami. Zmienilibyśmy to stanowisko, gdyby asystent działał w zamkniętej domenie — na przykład status zamówienia z jednego systemu — gdzie każdą odpowiedź można zweryfikować deterministycznie i automat w pełni zastępuje człowieka. Przy otwartych pytaniach o produkty, opłaty i terminy tak nie jest.