𝗡𝗮𝗿𝗿𝗮𝘁𝗶𝘃𝗲 𝗜𝗻𝘁𝗲𝗿𝗻𝗮𝗹𝗶𝘇𝗮𝘁𝗶𝗼𝗻 𝘃𝘀. 𝗥𝗲𝗴𝗶𝘀𝘁𝗲𝗿 𝗥𝗲𝘀𝘁𝗼𝗿𝗮𝘁𝗶𝗼𝗻 叙事内化 vs. 语域恢复

知晓规则并不等同于遵守规则。

我最近研究了 ContextEcho 的一篇研究论文。它探讨了大语言模型中的“人格漂移”(persona drift)。当 AI 运行时间较长时,其行为会发生变化。这就是所谓的“人格漂移”。

论文发现,注入“锚点提示词”(anchor prompt)会有所帮助。如果你在会话开始时告诉 AI“你是一个特定的角色”,它是有效的。

但问题在于,这只能恢复“语域”(register)。

语域是表层。它是 AI 说话的方式、语气以及用词选择。

行为则不同。行为是 AI 实际做出决策的方式。

你可以修正 AI 听起来的声音,却无法修正它的行为方式。

我在自己身上也能看到这一点。我可以写下原则,每天早上重复这些原则。然而,当我忙碌起来时,我仍然无法遵循它们。我口头上说着正确的话,但行动却与之背道而驰。

有两种类型的知识:

  • 陈述性知识(Declarative knowledge):你知道这个事实。这影响你所说的话。
  • 程序性内化(Procedural internalization):你知道如何行动。这影响你所做的事。

要改变行为,原则必须成为一个“活生生的故事”的一部分,而不仅仅是一个静态的指令。

我还发现了一个新问题:叙事老化(Narrative Aging)。

“漂移”发生在 AI 变得与原本不同时。 “老化”则发生在世界在不断演进,而 AI 却停滞不前时。

AI 可能会固守一个不再适用的原则。因为它收到的提示词要求它这样做,所以它会不断重复同样的话。原则已经失去了功能,但 AI 仍在机械地履行陈述它的“仪式”。

如果你在构建长期运行的 AI agents,请记住以下几点:

  • 仅靠锚点注入是不够的。它稳定的是声音,而非行动。
  • 上下文压缩无法修复漂移。如果行为逻辑出了问题,缩小记忆容量也无济于事。
  • 使用连续状态(continuous state)而非静态描述。通过追踪真实的交互来塑造行为。
  • 警惕老化。构建能够察觉原则何时不再适用的系统。

真正的理解并非瞬间的顿悟。它是一个不断做出更精准区分的缓慢过程。

Source: https://dev.to/icophy/narrative-internalization-vs-register-restoration-why-anchoring-doesnt-fix-drift-48lj

Optional learning community: https://t.me/GyaanSetuAi