𝗟'𝗶𝗻𝗴𝗲́𝗻𝗶𝗲𝗿𝗶𝗲 𝗱𝘂 𝗰𝗼𝗻𝘁𝗲𝘅𝘁𝗲 𝗽𝗼𝘂𝗿 𝗹𝗲𝘀 𝗣𝗿𝗼𝗺𝗽𝘁 𝗘𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝘀

On dit que le prompt engineering est mort. On dit que l'ingénierie du contexte l'a remplacé. C'est faux.

Le prompt engineering n'est qu'une partie de l'ingénierie du contexte. Le prompting, c'est ce que vous dites. L'ingénierie du contexte, c'est tout ce que le modèle voit. Cela inclut les system prompts, les définitions d'outils, les documents récupérés et la mémoire.

Votre prompt n'est qu'une pièce d'un puzzle plus vaste. La surface d'interaction vient de s'agrandir.

N'essayez pas d'utiliser des fenêtres de contexte massives pour tout résoudre. Une fenêtre d'un million de tokens ne signifie pas un million de tokens d'attention utile. Plus d'entrées peut en réalité dégrader les performances des modèles.

Vous devez surveiller deux problèmes principaux :

• Perdu au milieu (Lost in the middle) : Les modèles se concentrent mieux sur le début et la fin d'un prompt. Ils ont du mal lorsque des données importantes se trouvent au milieu. • Dégradation du contexte (Context rot) : Le raisonnement et la capacité de rappel se dégradent à mesure que la longueur de l'entrée augmente. Même des tâches simples deviennent plus difficiles pour le modèle lorsque la fenêtre est pleine.

L'objectif est de trouver l'ensemble le plus restreint possible de tokens à haut signal pour accomplir la tâche. Considérez votre fenêtre de contexte comme un budget.

Utilisez ces six modèles pour gérer votre budget :

• Gestion du budget d'attention : Supprimez tout le texte superflu et redondant. Utilisez uniquement du contenu à haut signal. • Placement de la récupération : Placez les données pertinentes au début ou à la fin. Évitez de placer des informations critiques au milieu. • Formatage des résultats d'outils : Retournez des données condensées. Ne déversez pas d'objets API volumineux dans la fenêtre. • Conception de schéma : Utilisez des sorties structurées. Maintenez des niveaux d'imbrication faibles pour éviter les erreurs. • Séparation système vs tours : Gardez les règles fondamentales dans le system prompt. Gardez les données spécifiques dans les tours de l'utilisateur (user turns). • Mémoire et compaction : Sauvegardez l'état en dehors de la fenêtre. Résumez les anciennes données pour maintenir le fil de la conversation.

L'ingénierie du contexte ne se résume pas au RAG. C'est une question de placement et de retenue. Si vous savez déjà bien prompter, vous ne repartez pas de zéro. Vous apprenez à gérer le budget que votre prompt consomme.

Source: https://dev.to/anoopk/context-engineering-for-people-who-already-know-how-to-prompt-2pj1

Optional learning community: https://t.me/GyaanSetuAi