Ga naar inhoud

Klantenservice20:04

Kwaliteitsmeting van AI-assistent in 500 testparen en een panel van 100 antwoorden

Automatische evaluatie combineren met een menselijk panel: 8–14 intenties, 500–1000 testparen, 100 antwoorden per 2 weken en een audit per kwartaal.

Afbeelding gegenereerd door AI.

Beluister de samenvatting van het artikel

Synthetische stem.
0:00
0:00

Hier beschrijven we hoe dit verloopt bij onze implementaties: een openbare handleiding, geen specifiek bedrijfsadvies; raadpleeg altijd uw eigen jurist. Tijdens interne overleggen over assistentkwaliteit klinkt steeds vaker: automatische evaluatie volstaat. U start RAGAS of Trulens, leest faithfulness 0,92, answer relevancy 0,87 en concludeert dat de bot goed presteert. Het klinkt overtuigend: harde cijfers, reproduceerbaar, onafhankelijk van vermoeidheid en in staat om de volledige gesprekshistorie in één nacht door te lichten. Dat heeft zeker waarde. Het probleem ontstaat zodra de uitkomst van een LLM-as-a-judge geldt als het enige bewijs dat de assistent geen schade aanricht.

Het sterkste tegenargument

Voorstanders van harde meetwaarden hebben gelijk op één punt: bij 10.000 gesprekken per dag leest een mens nog geen 1% van de logs, terwijl automatisering elk antwoord vergelijkt met de context uit de database. Tools zoals RAGAS en Trulens meten of het antwoord aansluit op bronnen en relevant is voor de vraag. In onze tests signaleert dergelijke monitoring een regressie na een kennisbankupdate binnen 30–40 minuten, nog voordat een enkele gebruiker ermee in aanraking komt. Verwerkt de assistent 1.000 verzoeken waarvan 920 correct, dan bedraagt de nauwkeurigheid 92%: een resultaat dat direct aan het directieteam kan worden getoond.

Afbeelding gegenereerd door AI.

Wat dit argument buiten beschouwing laat

Automatische meetwaarden beoordelen de consistentie met de opgehaalde context, niet de feitelijke juistheid van de context zelf. Bevat de kennisbank een verouderde tarieventabel of onjuiste levertijd, dan betekent een faithfulness van 0,94 slechts dat het systeem de fout getrouw herhaalt. Een tweede blinde vlek is overijverigheid: een antwoord kan betrouwbaar ogen, maar tegelijkertijd een retour beloven die niet in de voorwaarden staat. Geen enkele LLM-as-a-judge signaleert dat. In e-commerce leidt één overmoedige leverbelofte tot tientallen retourzendingen; in de bankensector resulteert een onjuist antwoord over provisie in een klacht die een analist 2 uur werk kost. Daarbij komt het verlies van vertrouwen: na één fout antwoord keert een gebruiker zelden terug naar de bot, en de CSAT na interactie daalt met tientallen procentpunten voordat een automatisch systeem iets opmerkt.

Ons standpunt

Een solide meting is een hybride aanpak: automatische evaluatie na elke wijziging, een menselijk panel elke 2 weken en een kwartaalaudit op 500–1000 paren van vraag en acceptatiecriterium. Onze werkwijze: automatisering dekt 100% van de logs, maar besluiten over systeemonderhoud volgen pas na het panel. We bouwen de testset op uit de 8–14 meest voorkomende intenties in productie. Per intentie verzamelen we 40 tot 120 vragen; hierbij geldt 30–35 voorbeelden per categorie als de grens voor een foutmarge van circa 10 procentpunten bij een betrouwbaarheidsinterval van 95%. Onder deze steekproefomvang is het verschil tussen 85% en 88% nauwkeurigheid statistische ruis.

Naast nauwkeurigheid meten we de escalatiegraad naar medewerkers, de doorlooptijd tot oplossing, de ruwe CSAT en de kosten per bezwaar. Een escalatiegraad boven 25% of een CSAT-daling van meer dan 10 punten bij gelijkblijvende nauwkeurigheid signaleert dat het systeem te vaak doorverwijst naar mensen, of dat de gebruiker niet krijgt wat hij verwacht. Daarnaast geldt de regelgeving: de AI Act vereist monitoring van datakwaliteit en transparantie. Gesprekslogs pseudonimiseren we voordat menselijke beoordeling plaatsvindt, aangezien de analyse van gebruikersberichten kwalificeert als verwerking van persoonsgegevens onder de AVG.

Afbeelding gegenereerd door AI.

Voor beslissingen in dit kwartaal betekent dit concreet: een eenmalig RAGAS-rapport volstaat niet. Bouw een set van 500–1000 paren uit productie, start een tweewekelijks panel op basis van 100 antwoorden en plan de eerste kwartaalaudit. Pas dan blijkt of de nauwkeurigheid toeneemt of meedrijft met seizoensgebonden promoties. Dit advies geldt niet wanneer een assistent binnen een gesloten domein opereert, zoals de orderstatus binnen één systeem, waar elk antwoord deterministisch controleerbaar is en de automatisering de mens volledig vervangt. Bij open vragen over producten, tarieven en termijnen is dat uitgesloten.

Bronmateriaal

Bronnen die we hebben geraadpleegd bij het schrijven. Bovenstaande tekst is van ons; deze websites zijn niet verantwoordelijk voor de inhoud en hebben deze niet geautoriseerd.

Vrijblijvend gesprek

Plan een workshop met Paul

Dertig minuten of een volledige workshop, de keuze is aan u. Reserveer direct een moment in de agenda en ontvang meteen een bevestiging.

Paul Lazniak

Oprichter van HEXART