Pare de carregar todas as instruções em todas as sessões
A maioria das pessoas foca em prompts melhores. Elas ignoram o que acontece antes do prompt começar. Elas carregam instruções demais no contexto do assistente.
Isso causa três problemas:
- Custos de tokens elevados.
- Alta latência.
- Baixa relação sinal-ruído.
Quando você carrega um arquivo de instruções massivo para cada pequena pergunta, é como ler um manual de funcionário inteiro antes de fazer uma pergunta simples. A maior parte dessa informação é inútil para a tarefa atual.
Quanto mais regras você adiciona, mais você dilui as partes relevantes. Mais contexto não significa mais competência.
Eu resolvi isso passando de um arquivo único para um sistema modular. Dividi minhas instruções em módulos especializados:
• instructions.md: Um pequeno ponto de entrada que sempre é carregado. • persona.md: Personalidade e tom. • structure.md: Estrutura do sistema para tarefas de navegação. • workflows.md: Regras específicas para encerrar sessões.
Agora, o arquivo principal atua como um roteador. Ele só chama outros módulos quando a tarefa exige.
Por exemplo:
- Se você precisar navegar em um projeto, carregue structure.md.
- Se você precisar encerrar uma sessão, carregue workflows.md.
- Se tiver uma pergunta rápida, não carregue mais nada.
Os resultados foram claros. Minha carga de tokens base caiu de 4.800 tokens para 1.450 tokens. Isso é uma redução de 70%.
O objetivo não é tornar as instruções menores. O objetivo é separar a carga base da carga sob demanda.
A carga base é o que você paga todas as vezes. Você deve mantê-la mínima. A carga sob demanda é o que você carrega apenas quando importa. Esta pode ser grande e detalhada.
Essa abordagem tem compensações. Você ganha eficiência, mas adiciona complexidade na forma como roteia as instruções. Você deve garantir que o assistente consiga acessar os módulos de forma confiável.
Se suas instruções forem pequenas, não faça isso. É perda de tempo. Se o seu conjunto de instruções for enorme e estiver crescendo, faça isso imediatamente.
Pare de forçar o assistente a carregar peso desnecessário. Mantenha o ambiente livre de instruções irrelevantes.
Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi