SWE-Primeは、厳選された10%の「pass」実行データで学習を行う方が、すべての成功した軌跡（trajectory）をモデルに投入するよりも強力なAIエージェントを生成できることを示しました。これは、passラベルを信頼できる品質フィルターとして扱うという、長年の習慣に疑問を投げかけるものです。
この結果は、コード生成や自動デバッグエージェントを構築するすべての人にとって重要です。データの量が増えれば自動的にパフォーマンスが向上するわけではなく、pass/fail（合格/不合格）というバイナリなフラグに安易に依存すると、モデルが迷走したり、無意味なツール呼び出しを繰り返したり、推論ではなく運に頼るようになったりする可能性があります。
なぜ「pass」フラグが信頼されてきたのか
ほとんどの人間からのフィードバックによる強化学習（RLHF）パイプラインにおいて、エンジニアは、最終的な結果がテスト基準を満たした場合、一連の観察、アクション、ツール呼び出しの全シーケンスである「軌跡（trajectory）」に「pass」というラベルを付けます。その仮定は単純です。エージェントが成功したのであれば、そのエピソード全体に有用な振る舞いが含まれているはずだ、というものです。そのため、成功につながったパターンをモデルが吸収することを期待して、すべての合格した実行データをトレーニングプールに投入してきました。
その仮定は、ここ数ヶ月間、ソフトウェアエンジニアリング（SWE）エージェントの大規模なデータ収集の指針となってきました。その論理は一見、確かなものに見えます。passはエージェントが問題を解決したことを示しているため、そのエピソードは解決に至ったポリシーを強化すべきである、という考え方です。
SWE-Primeが変えたこと
SWE-Primeの研究は、この常識を覆しました。研究者たちは、標準的なコード作成タスクのベンチマークを用い、成功した実行データを以下の2つのグループに分けました。
- すべてのpass軌跡 – テストに合格したすべてのエピソードを含む、従来のトレーニングセット。
- 厳選された10%のサブセット – 全セットから手作業で選別されたもの。
両方のグループで、同一のモデルアーキテクチャを用いてファインチューニングを行いました。未知の問題で評価したところ、厳選されたサブセットで学習したモデルは、すべてのpassセットで学習したモデルの性能を上回りました。
「pass」ラベルを損なうパターン
この研究では、passフラグの背後に隠れている、いくつかの繰り返される失敗モードをカタログ化しました。
- 繰り返されるツールの乱用（tool spamming） – エージェントが最終的に正しい出力を得るまでに、同じコンパイラやリンターを数十回も叩き続けることがあります。最終的な成功が、その非効率性を覆い隠してしまいます。
- 長く迷走するフェーズ – エージェントが正しい解決策にたどり着く前に、5つ以上の無関係なステップを探索してしまうことがあります。エピソードは最終的にpassで終わりますが、その軌跡の大部分には学習価値がありません。
- 些細なテスト – 一部のベンチマークは非常に簡単であるため、エージェントが一度の推測や、抜け穴を利用するだけで成功できてしまいます。passラベルでは、真の推論と運を区別できません。
このようなエピソードがトレーニングループに戻ると、モデルはランダムな迷走やツールの過剰使用を成功と結びつけて学習してしまいます。その結果、エージェントは「何かがうまくいくまで試行し続ける」というヒューリスティックを内面化してしまいますが、これは効率性と解釈可能性が求められるプロダクショングレードのシステムにとっては望ましくありません。
セグメントレベルの品質 vs 軌跡レベルの結果
SWE-Primeからの重要な洞察は、軌跡の全体的な結果と、それを構成する各セグメントの品質との区別です。軌跡は粗いラベルです。最終的な答えが正しいかどうかは教えてくれますが、内部の意思決定プロセスは隠してしまいます。研究では以下のことが観察されました。
- 優れた軌跡の中に悪いセグメントが含まれることがある – 本来は効率的な解決策であっても、最終的な答えに寄与しない無駄なステップがいくつか含まれている場合があります。
- 失敗した軌跡の中に優れたセグメントが隠れていることがある – エージェントが完璧に推論された計画を立てた直後に、無関係なエラーが発生してテストが失敗してしまうことがあります。
実行全体ではなくセグメントごとにスコアリングすることで、研究者たちはエージェントが最初から意図を持って行動したエピソードのみを保持し、それ以外を破棄しました。これにより、トレーニング信号を、モデルに実際に模倣させたい推論パターンに一致させることができます。
コストと速度の利点
データの10分の1で学習を行うことで、計算コストも劇的に削減されました。チームが必要としたGPU時間は大幅に少なく、パイプラインは全passセットに必要な時間のわずかな期間で完了しました。このパラドックスは驚くべきものです。計算コストを抑えながら、より高いパフォーマンスを達成したのです。予算が限られている組織や、大規模な展開を目指す組織にとって、この節約は無視できないものです。
キュレーションの課題
このアプローチを採用する上での最大の障壁は、「何が良いセグメントであるか」を定義することです。SWE-Primeチームは、高価な報酬モデル（reward model）なしでセグメントをスコアリングすることは困難であり、巧妙で軽量な指標が必要であると指摘しています。
まとめ
SWE-Primeは、「テストに合格した」という二値のフラグが、学習データのフィルタリングとしては信頼できないことを示しています。迷走するエピソード、冗長なツール呼び出し、そして極めて容易な実行を排除することで、開発者は計算コストを削減しながら、より有能で効率的なエージェントを訓練できます。教訓は明白です。量よりも質が重要であり、よりスマートなAIエージェントへの道は、各ステップが実際に何に貢献しているかをきめ細かく評価することにあります。