Guia para facilitar uma oficina

Resultados de aprendizagem observáveis

Ao concluir a trilha, o participante deverá ser capaz de transformar uma necessidade em prompt verificável, escolher entre instrução direta e exemplos, decompor uma tarefa quando necessário, construir casos de teste, aplicar uma rubrica, comparar variantes e registrar uma decisão de uso. Reconhecer quando não usar a resposta é parte da competência, não um fracasso de aprendizagem.

Para treinamento corporativo, selecione dados fictícios ou aprovados e uma tarefa próxima da rotina. Evite iniciar com decisões sobre saúde, crédito, contratação, demissão ou direitos de pessoas: a complexidade dessas áreas pode desviar a atenção dos fundamentos e exige controles específicos que este curso introdutório não substitui.

Workshop introdutório de quatro horas

Total: 240 minutos. Esse workshop cobre um núcleo prático; não pretende desenvolver os 15 playbooks integralmente. Para uma formação mais ampla, distribua o currículo em encontros, com trabalho aplicado entre eles.

Roteiro do facilitador

Antes do encontro, escolha um único caso, confirme que as contas estão corretas, prepare respostas boas e ruins e disponibilize a rubrica. Verifique que todos têm uma interface autorizada; diferenças de modelo devem ser registradas, não escondidas. Quem não tem acesso à IA pode avaliar respostas já fornecidas e aprender o processo de avaliação.

Durante a prática, peça primeiro uma previsão de comportamento, depois execute. Quando o resultado contrariar a expectativa, pergunte “qual evidência decide?” em vez de “qual prompt ficou mais bonito?”. Mostre um caso em que B vence, um empate e uma regressão. Não associe domínio do conteúdo à velocidade de digitação ou familiaridade com ferramentas.

Ao final, cada participante apresenta um pacote pequeno: problema, prompt, casos, notas e decisão. Evite premiação pelo maior número de prompts criados. Valorize rastreabilidade, ausência de fatos inventados e capacidade de reconhecer limitações.

Avaliação do participante

Critério didático sugerido: 80/100, com revisão obrigatória quando houver evidência inventada, dado sensível exposto ou simulação apresentada como execução real. Não penalize uma variante que piorou quando o aluno executou e interpretou corretamente o teste; descobrir isso é aprendizagem válida.

Como transformar a coleção em outros formatos

Para PDF e apostila, mantenha as sequências e referências. Para slides, use uma ideia por tela e leve os templates completos para material de apoio. Para base de conhecimento, publique cada playbook como uma página, com objetivo, variáveis e links para casos. Para documentação interna, substitua dados fictícios por dados autorizados e registre responsável, versão e uso permitido.

Não publique os resultados simulados como promessa de desempenho. Não retire ressalvas de risco apenas para caber em um slide. Os títulos “exemplo profissional” descrevem o uso proposto, não uma implantação comprovada.

Prompt mestre: versão aprimorada para gerar ou atualizar a coleção

Este prompt reaproveita a intenção original e acrescenta controles de qualidade. Serve para uma nova edição, atualização de fontes ou adaptação a uma organização. A coleção entregue nesta edição já está desenvolvida; este bloco não substitui seu conteúdo.

Atue como especialista em Prompt Engineering, avaliação de LLMs,
treinamento corporativo e design instrucional. Produza uma coleção
completa e prática para iniciantes, em português brasileiro.

CONTEXTO
Público: [PÚBLICO]. Setor: [SETOR]. Conhecimento prévio: [NÍVEL].
Tarefas prioritárias: [TAREFAS]. Fontes fornecidas: [FONTES].
Restrições: [RESTRIÇÕES]. Formatos finais: [FORMATOS].
Não presuma programação. Explique cada termo técnico ao introduzi-lo.

ESTRUTURA OBRIGATÓRIA
Desenvolva estes 15 playbooks:
1. Fundamentos de Prompt Engineering.
2. Zero-shot vs Few-shot Prompting.
3. Few-shot Prompting na prática.
4. Decomposição de problemas e Self-Ask.
5. Raciocínio estruturado e resolução de problemas complexos.
6. Tree of Thoughts e exploração de alternativas.
7. Criação de prompts robustos e reutilizáveis.
8. Testes A/B de prompts.
9. Avaliação de respostas de LLMs.
10. Criação de critérios, rubricas e scorecards de avaliação.
11. Iteração e otimização de prompts.
12. Prevenção de respostas ruins, inconsistentes ou alucinadas.
13. Prompt Engineering para tarefas empresariais.
14. Construção de uma biblioteca de prompts.
15. Processo profissional de Prompt → Teste → Avaliação → Melhoria → Produção.

Cada playbook deve conter, nesta ordem:
1 aprendizagem; 2 conceito em 1 minuto; 3 importância; 4 quando usar;
5 quando não usar; 6 estrutura; 7 exemplo ruim; 8 exemplo melhorado;
9 exemplo profissional; 10 template reutilizável; 11 exercício inicial;
12 exercício intermediário; 13 desafio profissional; 14 checklist de
5 a 10 itens; 15 erros comuns; 16 antes/depois/motivo; 17 resumo de bolso.
Atividades devem incluir entrada ou cenário, entregável e gabarito
orientativo ou critérios objetivos de aceite.

Use variáveis como [OBJETIVO], [CONTEXTO], [DADOS], [RESTRIÇÕES],
[CRITÉRIOS] e [FORMATO_DE_SAÍDA]. Distribua exemplos entre documentos,
vendas, marketing, atendimento, gestão, tecnologia, dados, relatórios,
automação, consultoria e projetos. Evite repetir o mesmo exemplo
com palavras diferentes em todos os módulos.

PROFUNDIDADE EM AVALIAÇÃO
Explique baseline, variantes, dataset, casos, referências revisadas,
critérios objetivos/subjetivos, rubricas ancoradas, scoring, pass/fail,
taxa de sucesso, consistência, precisão, completude, aderência,
relevância, clareza, alucinação, custo, latência e tamanho da resposta.
Inclua humanos e LLM-as-a-judge, com calibração, avaliação cega,
viés de posição/verbosidade e revisão de discordâncias.
Diferencie avaliação offline pareada de experimento online.
Separe desenvolvimento, validação e teste final; evite contaminação.

Crie pelo menos um dataset de aproximadamente dez casos com entradas
completas, expectativas, respostas A/B, notas individuais e cálculo
reproduzível. Fixe a rubrica antes da comparação. Use pesos coerentes
e trate falhas críticas como eliminatórias, separadas da média.
Defina a direção da alucinação: 0 é melhor; inverta antes de somar
com dimensões onde 5 é melhor. Campo sem avaliação não é aprovado.
Calcule diferenças absolutas/relativas e custo por resultado aprovado.
Com zero aprovados, não reporte custo por aprovado como zero.
Não declare superioridade geral com uma amostra didática pequena.

CASOS E FRAMEWORKS
Crie o PROMPT ENGINEERING LIFECYCLE com as 15 etapas de definição,
baseline, casos, critérios, testes, comparação, falhas, variantes,
A/B, escolha, extremos, versão, monitoramento e iteração.
Crie matriz de sete níveis: casual, estruturado, templates, testes,
avaliação, versionamento/observabilidade e produção/otimização.
Para cada nível, mostre característica e evidência para avançar.

Desenvolva cinco casos completos: tickets de suporte, leads comerciais,
relatórios executivos, documentos e atendimento. Cada caso deve ter:
requisito; prompt inicial; problemas; baseline; dataset; critérios;
scorecard; A; B; teste; análise; vencedor; melhorias; riscos; produção.
A escolha pode ser empate, manter A ou não liberar nenhuma versão.
Não force todos os exemplos a favorecer a versão mais longa.

MATERIAIS FINAIS
Inclua duas cheat sheets de uma página, dois checklists gerais,
30 templates adicionais, 20 exercícios progressivos com conferência,
10 desafios empresariais, glossário e planos de sete e 30 dias.
Forneça índice, progressão didática e fontes identificáveis.
Se houver arquivos, mantenha uma versão-mestre editável e confirme
estrutura, contagens, cálculos e integridade visual dos artefatos.

EVIDÊNCIA E SEGURANÇA
Pesquise fontes primárias quando a atualização técnica for relevante.
Distinga fatos documentados, recomendações didáticas e simulações.
Não invente execuções, custos medidos, avaliações humanas ou benchmarks.
Dados sintéticos, respostas fabricadas e notas exemplificativas devem
estar claramente rotulados. Registre data e limitações das fontes.
Não infira capacidades atuais de uma ferramenta pelo nome da marca.
Não revele nem solicite cadeia interna privada de raciocínio.
Explique Chain-of-Thought conceitualmente e prefira decomposição,
premissas relevantes, evidências, contas conferíveis, alternativas,
verificação e justificativa final curta.
Explique que controles de permissão e ações sensíveis não podem
depender somente de um prompt. Não use dados pessoais ou segredos reais
sem autorização e necessidade.

PADRÃO DE ENTREGA
Desenvolva o conteúdo, não apenas um plano para escrevê-lo.
Use linguagem simples, exemplos concretos, tabelas úteis e templates
copiáveis. Seja profundo sem transformar cada tarefa em burocracia.
Preserve a estrutura solicitada e registre limitações honestamente.