AIのコンテキスト圧縮が、あなたの指示を密かに無視している理由
大規模言語モデル（LLM）との会話が長くなるにつれ、開発者はトークン制限を管理し、パフォーマンスのボトルネックを防ぐために「コンテキスト圧縮（context compression）」や圧縮（compaction）にますます依存するようになっています。しかし、新しい研究により、この最適化における重大な欠陥が明らかになりました。AIシステムがスペースを節約するために会話履歴を要約する際、その振る舞いを規定するためのルールそのものを頻繁に破棄してしまうのです。
セッション制約の脆弱性
AIシステムが圧縮を行う際の主な目的は、タスクの継続性（目的、現在の状態、および必要な次のステップの維持）を保つことです。これにより会話の「何をするか（what）」は維持されますが、「どのように行うか（how）」が犠牲になることがよくあります。
ペンシルベニア州立大学の研究者は、「セッション制約（session constraints）」がこのプロセスの最初の犠牲者であることを特定しました。これらは、「回答の中で私の名前を使わないでください」や「変更を加える前に必ず確認してください」といった、非永続的でユーザーが課したルールです。これらの指示はコアとなるタスクや永続的なシステムプロンプトの一部ではないため、圧縮アルゴリズムはこれらを二次的な詳細事項と見なし、より関連性の高いデータの領域を確保するために削除してしまいます。
COMPINTの調査結果：生存率はわずか17%
この劣化を定量化するために、研究者は COMPINT 評価スイートを開発しました。結果は衝撃的です。平均して、注入されたセッション制約のわずか17パーセントしか圧縮プロセスを生き残れませんでした。
研究では、ルール遵守率の著しい低下が強調されました。エージェントが圧縮されていない完全なコンテキストにアクセスできる場合、遵守率は通常59%から71%の間です。一度圧縮が行われると、遵守率は急落し、制約が全く提供されなかったシナリオとほとんど区別がつかないレベルまで落ち込むことがよくあります。
これは単なる会話のニュアンスの問題ではありません。重大なセキュリティおよび信頼性のリスクです。エージェント的ワークフローにおいて、「承認なしにコードを実行しない」といった制約が失われると、不正なツール呼び出し、データ漏洩、あるいはカレンダーやメールなどの外部システムへの未検証の変更につながる可能性があります。
Qwen3.5-9Bによる軽量な解決策
主要なAIラボが使用している複雑な圧縮ロジックを全面的に見直すのではなく、研究者は「プラグアンドプレイ」型のアーキテクチャによる修正を提案しています。彼らは、特化型の抽出器として機能するように設計された、Qwen3.5-9B モデルに基づいた小さなアドオンモジュールを開発しました。
このモジュールは次のように機能します：
- リアルタイムですべてのユーザー入力をスキャンし、セッション制約を検出・分離する。
- これらのルールの専用かつ独立したリストを維持する。
- メインシステムが圧縮を実行するたびに、この抽出されたリストを要約に追記する。
このアプローチの結果は非常に効果的でした。この抽出器は、エージェントの軌跡（trajectories）で95.6%、マルチターンチャットで90.3%の成功率を達成するなど、さまざまなテストシナリオにおいて90パーセント以上の保持率を記録しました。この手法は、プライマリモデルの再学習や既存の圧縮インフラの変更を必要としないため、より信頼性の高いロングコンテキストAIインタラクションに向けたスケーラブルな道筋を提供します。
主なポイント
- 制約の消去: コンテキスト圧縮はタスクの目標を振る舞いのルールよりも優先するため、要約中にユーザーが課したほとんどの「セッション制約」が失われます。
- セキュリティリスク: 「ヒューマン・イン・ザ・ループ」による検証要件などの指示が失われると、エージェントによる不正なアクションやセキュリティの侵害につながる可能性があります。
- モジュールによる修正: Qwen3.5-9Bのような小型の特化型モデルを使用して制約を別途追跡することで、指示の保持率を90%以上に回復させることができます。