開発者の「ドリーミング」パイプラインは1日に2回実行され、LLMエージェントの生のイベントログをコンパクトで検証済みのメモリ・ストアへと凝縮し、トークン消費を大幅に削減します。この手法が重要なのは、ほとんどのエージェント・システムが、目にするすべての詳細をワーキングメモリに詰め込んでしまい、それが矛盾やコンテキストの忘却、そしてAPIコストの膨張を急速に招くからです。

LLMエージェントにとって、なぜメモリが重要なのか

LLMエージェントは、ユーザーのリクエスト、ツールの呼び出し、あるいは内部的な観測のそれぞれを、新しい「イベント」として扱います。素朴なアプローチでは、すべてのイベントを次の意思決定を促すプロンプトに追加していきます。実際には、これによりプロンプトがノイズで埋め尽くされ、モデルは古い事実を再評価せざるを得なくなり、トークン使用量は最高価格帯へと押し上げられます。その結果、エラーが増え、やり取りが増えるたびに隠れた請求額が膨れ上がっていくことになります。

夜間のドリーミングの仕組み

このシステムは、ライトパス（エージェントのライブログ）とワークパス（モデルの意思決定）を分離しています。1日に2回、「ドリーム（夢）」と呼ばれるバックグラウンド・ジョブが、蓄積されたイベントを以下の3つのステージで処理します。

  • Reflect（内省） – LLMが関連するイベントのクラスターをスキャンして簡潔な事実を提案し、どのイベントがその提案を