1. O que você vai aprender
Melhorar um prompt a partir de falhas observadas, em vez de acrescentar instruções aleatórias. Você aprenderá a localizar o tipo de erro, propor uma mudança pequena e verificar se o ganho permanece.
2. Conceito em 1 minuto
Iteração é repetir o ciclo de testar, analisar e mudar. Otimização é melhorar um objetivo sob limites: aumentar aprovações sem violar risco, custo ou tempo. Nem toda melhoria vem do prompt; o problema pode estar na fonte, na ferramenta ou na própria definição da tarefa. [S03]
3. Por que isso importa
Uma equipe pode passar dias ajustando frases quando o relatório usa uma tabela desatualizada. Diagnosticar a origem evita que o prompt vire uma lista interminável de remendos.
4. Quando usar
Use quando houver erros registrados, mudança de política, necessidade de reduzir custo ou regressão depois de uma atualização. Priorize falhas frequentes ou de alto impacto, não apenas o último caso que chamou atenção.
5. Quando NÃO usar
Não otimize sem uma baseline. Não ajuste para decorar o conjunto de teste. Não adicione complexidade quando a versão atual já atende aos critérios e a mudança não traz ganho relevante para o negócio.
6. Estrutura da técnica
FALHA → HIPÓTESE → MUDANÇA → RETESTE.
| Falha observada | Hipótese | Menor intervenção útil |
|---|---|---|
| Campo inventado | Ausência sem regra | Definir “não informado” |
| Categoria errada | Regra ambígua | Esclarecer limite ou inserir exemplo limítrofe |
| Cálculo incorreto | Uso inadequado do modelo | Calcular em planilha/ferramenta |
| Fonte errada | Busca recuperou material irrelevante | Corrigir recuperação e versão da fonte |
| Formato irregular | Contrato de saída frouxo | Especificar campos e validar |
| Ação não executada | Ferramenta indisponível | Corrigir fluxo ou informar limitação |
Ablação é retirar uma parte da solução para descobrir se ela realmente ajuda. Exemplo: remover dois exemplos repetidos e verificar se a taxa de aprovação permanece. Se permanecer em casos novos e o custo cair, a versão menor pode ser preferível.
Defina uma regra de parada: requisito atingido; ausência de ganho material; custo excedido; ou necessidade de mudar dados/ferramenta antes de continuar. Os limites são decisões do projeto, não constantes universais.
7. Exemplo ruim
O prompt falhou. Reescreva tudo de forma muito mais avançada.
Sem localizar a falha, a nova versão pode corrigir um sintoma e introduzir outros.
8. Exemplo melhorado
Analise estas falhas e agrupe por causa provável.
Para a mais importante, proponha a menor alteração testável.
Preserve o comportamento que já funciona.
Defina casos de regressão e diga quando a mudança deve ser rejeitada.
A alteração fica ligada a uma hipótese explícita.
9. Exemplo profissional
Cenário fictício de documentos. A resposta escolheu 45 dias porque era o último prazo citado, embora o documento tivesse 30 e 45 dias sem precedência.
Falha: inventar uma regra de precedência. Mudança candidata: “Quando houver valores conflitantes sem precedência explícita, preserve ambos e marque CONFLITANTE.”
Reteste: um documento com conflito; outro com versão nova explicitamente vigente; outro com exceção aplicável. O comportamento desejado não é marcar tudo como conflito: no segundo, usar a versão vigente; no terceiro, aplicar a exceção. Essa distinção impede que a correção torne o sistema excessivamente abstencionista.
10. Template reutilizável
Tarefa: [OBJETIVO]
Contexto e versão atual: [CONTEXTO]
Prompt atual, casos e falhas observadas: [DADOS]
Critérios que devem continuar atendidos: [CRITÉRIOS]
Restrições de custo, tamanho e comportamento: [RESTRIÇÕES]
Agrupe falhas por hipótese de causa.
Proponha uma alteração mínima e uma versão alternativa mais simples.
Defina testes de regressão e critério de rejeição da mudança.
Entregue [FORMATO_DE_SAÍDA]. Não invente resultados de retestes.
11. Exercício para o aluno
Um prompt omite sempre o prazo. Adicione um campo obrigatório e teste em um caso com prazo e outro sem prazo. Gabarito: mostrar o prazo quando existe; “não informado” quando não existe.
12. Exercício intermediário
Retire um exemplo redundante de um prompt few-shot e compare em dez entradas novas. Aceite: registrar qualidade e tamanho, inclusive quando nada muda. Um empate é um resultado útil.
13. Desafio profissional
Você tem 50 falhas de produção anonimizadas. Classifique causas, priorize duas e proponha um experimento por causa. Aceite: distinguir mudanças no prompt, na base de conhecimento, no validador e na integração; não chamar tudo de “falta de contexto”.
14. Checklist
- A falha foi preservada com entrada e saída.
- A causa é uma hipótese, não certeza automática.
- A mudança tem escopo limitado.
- Os casos que funcionavam foram retestados.
- Há entradas novas para confirmação.
- O ganho considera custo e complexidade.
- Existe critério de parada ou rejeição.
15. Erros comuns
Reescrever tudo a cada falha; acumular negações contraditórias; testar somente no caso corrigido; manter instruções sem benefício demonstrado; culpar o modelo por dados errados; continuar ajustando o teste final até ele deixar de ser um teste independente.
16. Antes e depois
PROMPT INICIAL: “Melhore muito.”
→ PROMPT OTIMIZADO: “Corrija a omissão do prazo preservando as demais regras; teste ausência, conflito e prazo explícito.”
→ MOTIVO DA MELHORIA: reduz o espaço de mudança e torna a melhoria verificável.
17. Resumo de bolso
Uma falha observada, uma hipótese, uma mudança e um reteste.