Saltar para o conteúdo

Apoio ao cliente20:04

Medição de qualidade do assistente de IA em 500 pares de teste e painel de 100 respostas

Como combinar avaliação automática com validação humana: 8–14 intenções, 500–1000 pares de teste, 100 respostas a cada 2 semanas e auditoria trimestral.

Imagem gerada por IA.

Ouça o resumo do artigo

Voz sintética.
0:00
0:00

Partilhamos aqui a nossa experiência em implementações reais: trata-se de um guia aberto e não de aconselhamento jurídico para a sua empresa, pelo que a validação final cabe aos seus consultores jurídicos. Em reuniões internas sobre a qualidade dos assistentes, surge frequentemente a ideia de que a avaliação automática é suficiente. Ativa-se o RAGAS ou o Trulens, obtém-se faithfulness de 0,92, answer relevancy de 0,87 e conclui-se que o assistente responde bem. O argumento parece sólido: métricas numéricas, repetíveis, sem fadiga humana e capazes de analisar todo o histórico de conversas numa única noite. Há mérito nesta abordagem. O problema surge quando o resultado do LLM-as-a-judge é tratado como prova única de que o assistente não comete erros graves.

O argumento mais forte da outra parte

Os defensores de métricas rígidas têm razão num ponto: com 10 000 conversas diárias, uma equipa humana não analisa sequer 1% dos registos, enquanto um processo automático compara cada resposta com o contexto da base de dados. Ferramentas como o RAGAS e o Trulens medem a fidelidade às fontes e a relevância face à pergunta. Nos nossos testes, este tipo de monitorização deteta regressões após alterações na base de conhecimento em 30–40 minutos, antes de chegarem aos utilizadores. Se o assistente processar 1 000 pedidos e 920 resultarem em respostas corretas, a precisão situa-se nos 92%, um indicador fiável para apresentar à administração.

Imagem gerada por IA.

O que este argumento não cobre

As métricas automáticas avaliam a consistência com o contexto obtido, não a veracidade desse contexto. Se a base de conhecimento contiver tabelas de preços desatualizadas ou prazos de entrega incorretos, um índice de faithfulness de 0,94 significa apenas que o sistema reproduziu o erro com precisão. O segundo ponto cego é o excesso de zelo: a resposta pode parecer credível e, em simultâneo, prometer um reembolso não previsto nos termos e condições. Nenhuma métrica LLM-as-a-judge deteta esta falha. No comércio eletrónico, uma promessa indevida de entrega gera devoluções imediatas; na banca, uma resposta incorreta sobre comissões resulta numa reclamação formal com elevado custo de análise. Acresce a perda de confiança: após uma resposta errada, o utilizador raramente volta a interagir com o assistente, e o CSAT cai vários pontos percentuais antes de qualquer automação sinalizar a anomalia.

A nossa posição

Uma medição rigorosa assenta num modelo híbrido: avaliação automática a cada alteração, validação humana quinzenal e auditoria trimestral com 500–1000 pares de pergunta e critério de aceitação. O nosso processo funciona assim: a automação cobre 100% dos registos, mas a decisão de manter o sistema em produção depende da validação humana. Criamos o conjunto de teste a partir das 8–14 intenções mais frequentes em produção, recolhendo entre 40 e 120 perguntas por intenção: 30–35 exemplos por classe constituem o limiar mínimo para assegurar uma margem de erro de 10 pontos percentuais com um intervalo de confiança de 95%. Abaixo desta amostra, a diferença entre 85% e 88% de precisão representa apenas ruído estatístico.

Além da precisão, medimos a taxa de escalonamento para humanos, o tempo até à resolução, o CSAT bruto e o custo de reencaminhamento. Uma taxa superior a 25% ou uma quebra no CSAT superior a 10 pontos com a mesma precisão indicam que a automação reencaminha em excesso para humanos ou que o utilizador não obtém o pretendido. Acresce a vertente regulamentar: o AI Act exige a monitorização da qualidade dos dados e transparência, e procedemos à pseudonimização dos registos de conversação antes da avaliação humana, dado que a análise das declarações dos utilizadores constitui tratamento de dados pessoais ao abrigo do RGPD.

Imagem gerada por IA.

Para as decisões deste trimestre, o significado é direto: um relatório único de RAGAS não é suficiente. Convém criar um conjunto de 500–1000 pares em ambiente de produção, lançar um painel quinzenal com 100 respostas e agendar a primeira auditoria trimestral. Só então é possível confirmar se a precisão sobe ou se sofre desvios com as promoções sazonais. Reveríamos esta posição caso o assistente operasse num domínio estritamente fechado, por exemplo, o estado de encomendas de um único sistema, onde cada resposta pode ser validada de forma determinística e a automação substitui totalmente o operador humano. Em questões abertas sobre produtos, preços ou prazos, esse cenário não se aplica.

Fontes

Materiais consultados durante a elaboração deste texto. O conteúdo acima é da nossa autoria; estas páginas não se responsabilizam pelo mesmo nem o autorizaram.

Conversa sem compromisso

Agendar workshop com Paul

Trinta minutos ou um workshop completo, a escolha é sua. Reserve a data no calendário e receba a confirmação de imediato.

Paul Lazniak

Fundador da HEXART