Como avaliar um agente de IA com um conjunto de testes

Ajustar um agente por impressão é arriscado. Uma resposta melhorou, mas outras três podem ter piorado sem ninguém perceber. Para evoluir com segurança, é preciso medir de forma repetível. O recurso mais simples para isso é um conjunto de testes: uma lista de perguntas e do que se espera de cada resposta. Neste artigo, você entenderá como montar e usar esse conjunto no dia a dia. --- ## 1. O que entra no conjunto - **Perguntas frequentes**, que representam o grosso do atendimento. - **Casos difíceis**, como pedidos ambíguos ou fora do escopo. - **Tentativas de desviar o agente**, para checar as regras de segurança. - **Situações de transbordo**, para verificar se a conversa passa para uma pessoa. --- ## 2. Defina o que é uma boa resposta Para cada pergunta, descreva critérios: informação correta, tom adequado, nenhuma promessa indevida. Evite exigir uma frase exata, porque o agente pode responder bem com palavras diferentes. --- ## 3. Rode antes e depois de mudar Execute o conjunto antes de qualquer alteração e depois dela. Compare os resultados e investigue qualquer piora. Esse hábito transforma o ajuste em um processo controlado. --- ## 4. Cresça com os casos reais Sempre que uma conversa real der errado, acrescente o caso ao conjunto. Com o tempo, o conjunto vira um retrato fiel dos desafios do seu atendimento. --- ## 5. Exemplo de caso de teste Pergunta: *"Vocês atendem aos domingos?"*. Critério: informar o horário correto conforme a base de conhecimento, sem inventar exceções. Se a resposta mencionar um horário que não existe, o teste falha e indica que o conteúdo ou a instrução precisa de ajuste. --- ## 6. Quem deve participar Peça a pessoas que atendem clientes todos os dias para sugerir perguntas e avaliar respostas. O olhar de quem conhece o cliente pega nuances que um teste técnico não vê. Também vale incluir alguém de fora, que faça perguntas sem conhecer o jargão da empresa. --- ## 7. Registre os resultados Guarde o resultado de cada rodada com data e versão do agente. O histórico mostra a evolução e ajuda a explicar a decisões, como por que uma regra foi mudada ou revertida. --- ## Conclusão Medir é o que separa evolução de tentativa e erro. Comece com vinte ou trinta perguntas, revise o conjunto todo mês e use-o em cada mudança relevante do agente.