𝗧𝗵𝗲 𝗟𝗟𝗠 𝗕𝗲𝗻𝗰𝗵𝗺𝗮𝗿𝗸 𝗦𝗰𝗼𝗿𝗲 𝗬𝗼𝘂 𝗡𝗲𝗲𝗱 𝗗𝗼𝗲𝘀𝗻'𝘁 𝗘𝘅𝗶𝘀𝘁
ほとんどのLLMリーダーボードは、あなたに嘘をついています。
先月、私はエージェント型パイプラインのためにモデルの評価を行いました。必要としていたのは、コード生成とマルチステップの推論です。私は人気のリーダーボードでトップのモデルを選び、実装しました。しかし、それは基本的なツール利用タスクで失敗しました。
リーダーボードのスコアは本物でした。しかし、私の業務にとっては役に立たないものでした。
公開ベンチマークは、モデルを単体でテストします。しかし、本番環境で動かすのはエージェントです。エージェントはツールを呼び出し、ウェブを検索し、コードを実行します。標準的なベンチマークでは、これを測定できません。
LXTのレポートは、大きな隔たりがあることを示しています。2026年2月時点、ツールアクセスがある場合のスコアは以下の通りでした：
• Claude Opus 4.6: 53.1% • GPT-5.3 Codex: 36% • GLM-5: 32%
ツールアクセスがない場合、これらのスコアは低下します。ツール支援ありのスコアと、なしのスコアの差こそが、エージェントにとって唯一意味のある指標です。
トリビアや静的なテストで勝てるモデルでも、たった一つの関数呼び出しを書くことに失敗することがよくあります。
エージェントを構築する場合は、以下の3つの領域に集中してください：
- ツール呼び出しの信頼性。モデルは、ノイズ（distraction）がある状況下でも正しく呼び出しをフォーマットできますか？エラーから復旧できますか？
- コンテキストウィンドウの経済性。ツール設定によっては、トークンコストが10倍から32倍に膨らむことがあります。呼び出しのたびに予算を使い果たしてしまうなら、大きなコンテキストウィンドウは無駄です。
- マルチステップのプランニング。モデルは5ステップの計画を維持できますか？多くのモデルは、ステップ3までには文脈を見失ってしまいます。
公開リーダーボードだけをガイドにするのはやめましょう。代わりに、次のようにしてください：
• ミニベンチマークを実行する。自身のログから20〜50件の実際のツール呼び出しを使用してください。独自のスキーマに対する精度を測定します。 • エラー条件をテストする。ツールがエラーや空のデータを返したときに、モデルがどのように動作するかを確認します。 • タスクあたりのコストを測定する。5%優れているがコストが3倍かかるモデルは、多くの場合、誤った選択です。 • 特化型のリーダーボードを使用する。総合ランキングではなく、BenchLM.aiでツール利用やコーディングエージェントのスコアを確認してください。
ランク3位のモデルは、単一のプロンプトには完璧かもしれませんが、エージェントとしては悲惨な結果になるかもしれません。
午後のひとときを自分のツールのテストに費やしてください。そうすれば、後で1週間分のデバッグ作業を省くことができます。
あなたはどのようにモデルを評価していますか？返信で教えてください。
Optional learning community: https://t.me/GyaanSetuAi