Arrêtez de charger toutes les instructions dans chaque session
La plupart des gens se concentrent sur l'amélioration des prompts. Ils ignorent ce qui se passe avant le début du prompt. Ils chargent trop d'instructions dans le contexte de l'assistant.
Cela cause trois problèmes :
- Des coûts de tokens élevés.
- Une latence élevée.
- Un faible rapport signal/bruit.
Lorsque vous chargez un fichier d'instructions massif pour chaque petite question, c'est comme lire l'intégralité d'un manuel de l'employé avant de poser une question simple. La majeure partie de ces informations est inutile pour la tâche en cours.
Plus vous ajoutez de règles, plus vous diluez les parties pertinentes. Plus de contexte ne signifie pas plus de compétence.
J'ai résolu ce problème en passant d'un fichier unique à un système modulaire. J'ai divisé mes instructions en modules spécialisés :
• instructions.md : Un petit point d'entrée qui est toujours chargé. • persona.md : Personnalité et ton. • structure.md : Structure du système pour les tâches de navigation. • workflows.md : Règles spécifiques pour terminer les sessions.
Désormais, le fichier principal agit comme un routeur. Il n'appelle les autres modules que lorsque la tâche l'exige.
Par exemple :
- Si vous devez naviguer dans un projet, chargez structure.md.
- Si vous devez terminer une session, chargez workflows.md.
- Si vous avez une question rapide, ne chargez rien d'autre.
Les résultats ont été clairs. Ma charge de tokens de base est passée de 4 800 tokens à 1 450 tokens. Cela représente une réduction de 70 %.
L'objectif n'est pas de rendre les instructions plus petites. L'objectif est de séparer la charge de base de la charge à la demande.
La charge de base est ce que vous payez à chaque fois. Vous devez la garder minuscule. La charge à la demande est ce que vous chargez uniquement lorsque c'est nécessaire. Elle peut être volumineuse et détaillée.
Cette approche comporte des compromis. Vous gagnez en efficacité, mais vous ajoutez de la complexité dans la manière dont vous routez les instructions. Vous devez vous assurer que l'assistant peut accéder aux modules de manière fiable.
Si vos instructions sont peu nombreuses, ne faites pas cela. C'est une perte de temps. Si votre ensemble d'instructions est vaste et en constante augmentation, faites-le immédiatement.
Arrêtez de forcer l'assistant à porter un poids inutile. Gardez l'espace libre de toute instruction non pertinente.
Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi