Context Engineering voor Prompt Engineers
Mensen zeggen dat prompt engineering dood is. Ze zeggen dat context engineering het heeft vervangen. Dat is onjuist.
Prompt engineering is slechts een onderdeel van context engineering. Prompting is wat je zegt. Context engineering is alles wat het model ziet. Dit omvat system prompts, tool-definities, opgehaalde documenten en geheugen.
Je prompt is één stukje van een grotere puzzel. De reikwijdte is zojuist groter geworden.
Probeer niet massieve context windows te gebruiken om alles op te lossen. Een window van een miljoen tokens betekent niet dat er een miljoen tokens aan nuttige aandacht is. Meer input kan de prestaties van modellen zelfs verslechteren.
Je moet letten op twee belangrijke problemen:
• Lost in the middle: Modellen focussen het best op het begin en het einde van een prompt. Ze hebben moeite wanneer belangrijke gegevens in het midden staan. • Context rot: Redeneren en herinneren verslechteren naarmate de inputlengte toeneemt. Zelfs eenvoudige taken worden moeilijker voor het model wanneer het window vol is.
Het doel is om de kleinste set tokens met een hoog signaal te vinden die de taak volbrengen. Behandel je context window als een budget.
Gebruik deze zes patronen om je budget te beheren:
• Attention budgeting: Schrap alle boilerplate en overbodige tekst. Gebruik alleen content met een hoog signaal. • Retrieval placement: Plaats relevante gegevens aan het begin of het einde. Vermijd het plaatsen van kritieke informatie in het midden. • Tool-result formatting: Geef gecondenseerde gegevens terug. Dump geen grote API-objecten in het window. • Schema design: Gebruik gestructureerde outputs. Houd nesting-niveaus laag om fouten te voorkomen. • System vs. turn separation: Houd kernregels in de system prompt. Houd specifieke gegevens in de user turns. • Memory and compaction: Sla de status buiten het window op. Vat oude gegevens samen om de thread levend te houden.
Context engineering is niet alleen RAG. Het gaat om plaatsing en terughoudendheid. Als je al goed kunt prompten, begin je niet opnieuw. Je leert het budget te beheren dat je prompt verbruikt.
Bron: https://dev.to/anoopk/context-engineering-for-people-who-already-know-how-to-prompt-2pj1
Optionele leercommunity: https://t.me/GyaanSetuAi