Testes de regressão para prompts: mudar sem estragar

Uma regra nova nas instruções do agente pode melhorar uma resposta e piorar outras. Esse efeito colateral é conhecido como regressão: algo que funcionava deixa de funcionar depois de uma alteração. Neste artigo, você entenderá como detectar regressões antes de chegar ao cliente. --- ## 1. A ideia central Manter uma lista fixa de perguntas e respostas esperadas e rodá-la a cada mudança. Se os resultados forem piores do que antes, a mudança precisa ser revista. --- ## 2. Monte a bateria com casos importantes Inclua as perguntas mais comuns, os casos críticos, como segurança e transferência, e os erros já corrigidos. Cada erro resolvido deve virar um teste. --- ## 3. Avalie por critérios, não por texto exato A resposta pode variar nas palavras e continuar correta. Defina critérios: informação certa, tom adequado, regra respeitada. A avaliação pode ser feita por pessoas ou apoiada por outro modelo, com revisão humana. --- ## 4. Automatize o que for possível Executar a bateria manualmente cansa e é esquecido. Automatize a execução e o registro, e deixe a análise de diferenças para as pessoas. --- ## 5. Revise o conjunto À medida que o negócio muda, retire testes obsoletos e acrescente novos. Uma bateria desatualizada passa falsa segurança. --- ## 6. Exemplo de bateria Dez perguntas frequentes, cinco casos de limite (como pedidos de desconto) e três situações de transferência já formam uma bateria útil. A cada erro encontrado em produção, acrescenta-se um novo teste, e a bateria vai amadurecendo com o projeto. --- ## 7. Cuide da variação natural Como as respostas variam, rode cada teste mais de uma vez quando for crítico. Se uma regra importante falha ocasionalmente, trate como falha. A consistência é parte da qualidade. --- ## 8. Compare versões lado a lado Ao mudar as instruções, rode a bateria nas duas versões e compare os resultados. A comparação mostra de forma objetiva o que melhorou e o que piorou, e ajuda a decidir se a mudança vale a pena. --- ## 9. Registre as exceções aceitas Se uma mudança melhora muito um comportamento e piora levemente outro, registre a decisão e o motivo. A documentação evita discussões repetidas e mostra que o risco foi avaliado. --- ## Conclusão Testes de regressão dão confiança para evoluir o agente. Comece pequeno, cresça com os erros reais e execute antes de cada publicação.