新しい「Attention Sink Detector」は、大規模言語モデル（LLM）の推論におけるprefill（プリフィル）ステージ中に、アテンション・マスの大部分を占有するトークンを特定します。このツールは、これらのシンク・トークンをkey-value (KV) キャッシュから削除するとモデルの性能が著しく低下することを示しており、これらが安定した生成に不可欠なアンカーであることを明らかにしています。

なぜprefillステージが重要なのか

ほとんどのLLM研究はトークンごとの生成ループに焦点を当てていますが、最初のトークンが出力される前に行われる作業、すなわちprefillが、その後のすべての流れを決定づけます。prefill中、モデルはプロンプト全体を処理し、KVキャッシュを構築し、すべての位置にアテンションを分散させます。アテンションの重みを生成するsoftmaxは合計が1にならなければならないため、モデルは「何も関連性がない」と言うことはできません。その結果、モデルは余った確率質量を、アドレス指定しやすいトークン、通常はシーケンスの最初のトークンへと放り込みます。このトークンが**アテンション・シンク（attention sink）**となります。

アテンション・シンクとは何か（平易な説明）

Transformerでは、各ヘッドがすべてのトークンペアに対して重みを計算します。分布が大きく偏ると、単一のトークンが不釣り合いなほど多くのアテンションの重みを受け取ることがあります。この現象はバグではなく、softmaxの制約から生じるものです。最初のトークン（多くの場合、文頭マーカー）は、他の場所に割り当てられない残差確率の「逃げ道（release valve）」として機能します。

KVキャッシュ管理におけるリスク

KVキャッシュは、処理されたすべてのトークンのkeyベクトルとvalueベクトルを保存し、生成中の高速なルックアップを可能にします。コンテキストが長いシナリオでは、実務者はGPUメモリの制限内に収めるためにキャッシュを削減（プルーニング）します。新しい検出器は、「重要ではない」ように見えるトークンを無差別に削除すると、モデルが依存しているシンクそのものも削除してしまい、性能の崩壊を招くことを示しています。キャッシュ内でシンク・トークンを固定（pinning）することで、モデルの内部的な均衡が保たれ、生成が安定します。

検出器の仕組み

  • Eager attention: この実装では、フルアテンション行列を圧縮してしまうFlashAttentionのような高速カーネルをバイパスし、代わりにすべてのヘッドの生の（raw）アテンション・スコアを記録します。
  • レイヤー全体の集約: スコアはすべてのレイヤーとヘッドにわたって平均化され、トークンごとの単一のアテンション・マス・プロファイルが生成されます。
  • 対数中央絶対偏差 (Log-median absolute deviation, MAD): アテンションの重みは右に大きく歪んでいるため、単純な平均と標準偏差によるテストでは、通常の分散を外れ値として誤分類してしまいます。重みを対数変換することで分布を正規化し、その後にMADを適用することで、アテンション・マスが典型的な広がりを超えるトークンをフラグ立てします。

明らかになった2種類のシンク

  1. 真のシンク (True sinks) – プロンプトの内容に関わらず、文頭（BOS）トークンが一貫して膨大な量のアテンションを吸収します。
  2. 構造的シンク (Structural sinks) – ChatMLで使用されるマーカー（<im_start>, <im_end>）のような、システムレベルのプロンプトに属するトークンは、アテンションを引き寄せる小さなクラスターを形成します。これらは論理的な境界として機能し、モデルがユーザーのメッセージとシステム指示を分離するのを助けます。

反論：生の行列は本当に必要なのか？

著者は、生の数値がなければシンク現象は隠れたままとなり、不完全なデータに基づいたキャッシュ削減ポリシーはモデルを不安定にするリスクがあると指摘しています。

次に注目すべきこと

この検出器は、生成品質のためのエントロピー・トラッカーから始まった4部構成シリーズの第2弾です。次回のパートでは、シンク検出をエントロピー誘導型投機的デコーディング (entropy-guided speculative decoding) と統合する予定です。最終的な研究は、実証研究となります。

まとめ: アテンション・シンクは、単なる謎めいた癖ではありません。prefill中にTransformerのアテンション分布を適切に保つための構造的な柱です。これらを無視するKVキャッシュ削減戦略は、モデルの安定性を損なうことになります。これらのトークンを検出し、保持することは、長文コンテキストの推論を信頼性と効率性の両面で向上させる、低コストな保護策となります。