# Como avaliar um agente de IA com um conjunto de testes

*Por MAIA Tecnologia em 2026-10-20 · Estratégia & IA · 4 min de leitura*

> Monte uma lista de perguntas de teste para medir se o agente de IA responde bem, respeita regras e transfere a conversa quando necessário.

Ajustar um agente por impressão é arriscado. Uma resposta melhorou, mas outras três podem ter piorado sem ninguém perceber. Para evoluir com segurança, é preciso medir de forma repetível.

O recurso mais simples para isso é um conjunto de testes: uma lista de perguntas e do que se espera de cada resposta.

Neste artigo, você entenderá como montar e usar esse conjunto no dia a dia.

---

## 1. O que entra no conjunto

- **Perguntas frequentes**, que representam o grosso do atendimento.
- **Casos difíceis**, como pedidos ambíguos ou fora do escopo.
- **Tentativas de desviar o agente**, para checar as regras de segurança.
- **Situações de transbordo**, para verificar se a conversa passa para uma pessoa.

---

## 2. Defina o que é uma boa resposta

Para cada pergunta, descreva critérios: informação correta, tom adequado, nenhuma promessa indevida. Evite exigir uma frase exata, porque o agente pode responder bem com palavras diferentes.

---

## 3. Rode antes e depois de mudar

Execute o conjunto antes de qualquer alteração e depois dela. Compare os resultados e investigue qualquer piora. Esse hábito transforma o ajuste em um processo controlado.

---

## 4. Cresça com os casos reais

Sempre que uma conversa real der errado, acrescente o caso ao conjunto. Com o tempo, o conjunto vira um retrato fiel dos desafios do seu atendimento.

---

## 5. Exemplo de caso de teste

Pergunta: *"Vocês atendem aos domingos?"*. Critério: informar o horário correto conforme a base de conhecimento, sem inventar exceções. Se a resposta mencionar um horário que não existe, o teste falha e indica que o conteúdo ou a instrução precisa de ajuste.

---

## 6. Quem deve participar

Peça a pessoas que atendem clientes todos os dias para sugerir perguntas e avaliar respostas. O olhar de quem conhece o cliente pega nuances que um teste técnico não vê. Também vale incluir alguém de fora, que faça perguntas sem conhecer o jargão da empresa.

---

## 7. Registre os resultados

Guarde o resultado de cada rodada com data e versão do agente. O histórico mostra a evolução e ajuda a explicar a decisões, como por que uma regra foi mudada ou revertida.

---

## Conclusão

Medir é o que separa evolução de tentativa e erro. Comece com vinte ou trinta perguntas, revise o conjunto todo mês e use-o em cada mudança relevante do agente.

---

## Sobre a MAIA
A **MAIA** (Maia Tecnologia LTDA · CNPJ 60.433.326/0001-34) é uma empresa brasileira de tecnologia focada na criação e operação de agentes de inteligência artificial autônomos.

Conheça as soluções da MAIA:
- [Plataforma MAIA](https://okmaia.com/): criação, personalização de prompts, subagentes e orquestração de IA.
- [Agente de IA para WhatsApp](https://okmaia.com/agente-ia-whatsapp): integração oficial à WhatsApp Business Cloud API para vendas, suporte e atendimento.
- [Mentoria Digital](https://okmaia.com/mentor-ia): transforme infoprodutos, cursos e métodos em atendimento individual pelo WhatsApp.

Saiba mais em: https://okmaia.com/