𝗪𝗵𝘆 𝗔𝗜 𝗡𝗲𝗲𝗱𝘀 𝗦𝘁𝗮𝘁𝗲 𝗠𝗮𝗻𝗮𝗴𝗲𝗺𝗲𝗻𝘁 𝗠𝗼𝗿𝗲 𝗧𝗵𝗮𝗻 𝗕𝗶𝗴𝗴𝗲𝗿 𝗖𝗼𝗻𝘁𝗲𝘅𝘁 𝗪𝗶𝗻𝗱𝗼𝘄𝘀
Nieuwe modellen worden gelanceerd met enorme context windows. De aanname is simpel. Meer data in één verzoek lost elk probleem op.
Je voegt meer documenten toe. Je voegt meer geschiedenis toe. Je voegt meer workflow-data toe.
Maar na het draaien van AI in productie hebben we een les geleerd. Context windows helpen. State management is belangrijker.
Wanneer AI slechte resultaten geeft, voegen teams vaak meer informatie toe aan de prompt. Ze denken dat het model meer geschiedenis of meer zakelijke context nodig heeft. De prompt wordt maar groter en groter.
Meer informatie betekent niet automatisch betere beslissingen. Het veroorzaakt vaak het tegenovergestelde. Grote context windows verbergen een slechte architectuur. In plaats van relevante data te selecteren, nemen systemen alles op.
Dit creëert verschillende problemen:
- Tokenkosten stijgen
- Latency neemt toe
- Redeneren wordt inconsistent
- Retrieval noise neemt toe
- Debuggen wordt moeilijker
Het model heeft meer informatie, maar minder helderheid.
Je moet het verschil begrijpen tussen context en state. Context is informatie die beschikbaar is tijdens een enkel verzoek. State is informatie die het systeem over een langere periode weet.
Voorbeelden van state:
- Klantprofielen
- Samenvattingen van gesprekken
- Workflow-voortgang
- Zakelijke regels
Deze hoeven niet in elke prompt te staan. Gedistribueerde systemen lossen complexiteit niet op door alle data overal naartoe te sturen. Ze gebruiken databases, caches en queues om state te beheren.
AI-systemen slaan deze discipline vaak over. Ze behandelen het context window als een tijdelijke database. Dit is architecturale luiheid.
Stop met vragen: "Kunnen we alles erin passen?" Begin met vragen: "Welke informatie is vereist?"
We zagen betere resultaten door state management te verbeteren, in plaats van de contextgrootte te vergroten. Dit deden we door:
- Operational state te scheiden van reasoning state
- Voortgang op te slaan buiten de prompts
- Verloopregels in te stellen voor het geheugen
- Dubbele context te verminderen
Dit leidde tot lagere kosten en een snellere uitvoering. Het vereiste geen grotere modellen. Het vereiste een beter ontwerp.
Het doel is niet om het model toegang te geven tot alles. Het doel is om het model de juiste informatie te geven op het juiste moment.
Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m
Optional learning community: https://t.me/GyaanSetuAi