Engenharia de Contexto para Engenheiros de Prompt
Dizem que a engenharia de prompt morreu. Dizem que a engenharia de contexto a substituiu. Isso está errado.
A engenharia de prompt é apenas uma parte da engenharia de contexto. O prompting é o que você diz. A engenharia de contexto é tudo o que o modelo vê. Isso inclui prompts de sistema, definições de ferramentas, documentos recuperados e memória.
Seu prompt é apenas uma peça de um quebra-cabeça maior. A área de superfície acabou de aumentar.
Não tente usar janelas de contexto massivas para resolver tudo. Uma janela de um milhão de tokens não significa um milhão de tokens de atenção útil. Mais entrada pode, na verdade, fazer com que os modelos tenham um desempenho pior.
Você deve ficar atento a dois problemas principais:
• Lost in the middle (Perdido no meio): Os modelos focam melhor no início e no fim de um prompt. Eles têm dificuldade quando dados importantes estão no meio. • Context rot (Degradação de contexto): O raciocínio e a recuperação degradam conforme o comprimento da entrada aumenta. Mesmo tarefas simples tornam-se mais difíceis para o modelo quando a janela está cheia.
O objetivo é encontrar o menor conjunto de tokens de alto sinal que realizem o trabalho. Trate sua janela de contexto como um orçamento.
Use estes seis padrões para gerenciar seu orçamento:
• Orçamento de atenção: Corte todo o texto padrão (boilerplate) e redundante. Use apenas conteúdo de alto sinal. • Posicionamento de recuperação: Coloque dados relevantes no início ou no fim. Evite colocar informações críticas no meio. • Formatação de resultado de ferramenta: Retorne dados condensados. Não despeje grandes objetos de API na janela. • Design de esquema: Use saídas estruturadas. Mantenha os níveis de aninhamento baixos para evitar erros. • Separação entre sistema e turnos: Mantenha as regras principais no prompt de sistema. Mantenha os dados específicos nos turnos do usuário. • Memória e compactação: Salve o estado fora da janela. Resuma dados antigos para manter o fio da conversa vivo.
Engenharia de contexto não é apenas RAG. Trata-se de posicionamento e contenção. Se você já faz bons prompts, não está começando do zero. Você está aprendendo a gerenciar o orçamento que seu prompt consome.
Source: https://dev.to/anoopk/context-engineering-for-people-who-already-know-how-to-prompt-2pj1
Optional learning community: https://t.me/GyaanSetuAi