为什么 AI 需要状态管理，而非更大的上下文窗口
新模型发布时都配备了海量的上下文窗口。 人们的假设很简单： 在单次请求中加入更多数据就能解决所有问题。
你添加更多的文档。 你添加更多的历史记录。 你添加更多的工作流数据。
但在将 AI 应用于生产环境后，我们吸取了一个教训。 上下文窗口确实有帮助。 但状态管理更为重要。
当 AI 生成的结果不佳时，团队往往会向 prompt 中添加更多信息。 他们认为模型需要更多的历史记录或更多的业务上下文。 于是，prompt 变得越来越臃肿。
信息增多并不意味着决策质量的提升，往往适得其反。 巨大的上下文窗口掩盖了糟糕的架构设计。 系统不再筛选相关数据，而是把所有东西都塞进去。
这会引发一系列问题：
- Token 成本上升
- 延迟增加
- 推理变得不一致
- 检索噪声增加
- 调试变得更加困难
模型拥有的信息更多了，但清晰度却降低了。
你必须理解 context（上下文）与 state（状态）之间的区别。 Context 是单次请求中可用的信息。 State 是系统随时间推移而掌握的信息。
State 的示例：
- 用户画像
- 对话摘要
- 工作流进度
- 业务规则
这些信息并不需要存在于每一个 prompt 中。 分布式系统并不会通过将所有数据到处传递来解决复杂性。 它们使用数据库、缓存和队列来管理状态。
AI 系统往往忽略了这一原则。 它们将上下文窗口视为临时数据库。 这是一种架构上的懒惰。
不要再问“我们能把所有东西都塞进去吗？” 而要开始问“需要哪些信息？”
我们发现，通过改进状态管理而非增加上下文大小，可以获得更好的效果。 我们通过以下方式实现了这一点：
- 将操作状态（operational state）与推理状态（reasoning state）分离
- 将进度存储在 prompt 之外
- 为记忆设置过期规则
- 减少重复的上下文
这带来了更低的成本和更快的执行速度。 它不需要更大的模型。 它需要更好的设计。
目标不是让模型访问所有信息。 目标是在正确的时间给模型提供正确的信息。
Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m
Optional learning community: https://t.me/GyaanSetuAi