Le score de benchmark LLM dont vous avez besoin n'existe pas
La plupart des classements de LLM vous mentent.
Le mois dernier, j'ai évalué des modèles pour un pipeline agentique. J'avais besoin de génération de code et de raisonnement multi-étapes. J'ai choisi le modèle en tête d'un classement populaire. Je l'ai déployé. Il a échoué sur des tâches basiques d'utilisation d'outils.
Le score du classement était réel. Il était également inutile pour mon travail.
Les benchmarks publics testent les modèles de manière isolée. En production, vous faites tourner des agents. Les agents appellent des outils, effectuent des recherches sur le web et exécutent du code. Les benchmarks standards ne mesurent pas cela.
Les rapports LXT montrent un écart massif. En février 2026, avec l'accès aux outils, les scores ressemblaient à ceci :
• Claude Opus 4.6 : 53,1 % • GPT-5.3 Codex : 36 % • GLM-5 : 32 %
Sans accès aux outils, ces scores chutent. L'écart entre les scores avec assistance par outils et sans outils est la seule métrique qui compte pour les agents.
Les modèles qui gagnent aux quiz ou aux tests statiques échouent souvent à écrire un simple appel de fonction.
Si vous construisez des agents, concentrez-vous sur ces trois domaines :
- Fiabilité de l'appel d'outils. Le modèle formate-t-il correctement les appels en cas de distraction ? Peut-il se remettre des erreurs ?
- Économie de la fenêtre de contexte. Certaines configurations d'outils coûtent 10 à 32 fois plus de tokens. Une grande fenêtre de contexte est un gaspillage si elle épuise votre budget à chaque appel.
- Planification multi-étapes. Le modèle peut-il maintenir un plan en 5 étapes ? De nombreux modèles perdent le fil dès la 3e étape.
Arrêtez d'utiliser les classements publics comme seul guide. Faites plutôt ceci :
• Lancez un mini-benchmark. Utilisez 20 à 50 appels d'outils réels provenant de vos propres journaux (logs). Mesurez la précision sur votre schéma spécifique. • Testez les conditions d'erreur. Observez comment le modèle réagit lorsqu'un outil renvoie une erreur ou des données vides. • Mesurez le coût par tâche. Un modèle qui est 5 % meilleur mais 3 fois plus cher est souvent le mauvais choix. • Utilisez des classements spécialisés. Consultez les scores d'utilisation d'outils et d'agents de codage sur BenchLM.ai plutôt que les classements généraux.
Un modèle classé n°3 peut être parfait pour un prompt unique. Il peut être un désastre pour un agent.
Passez un après-midi à tester vos propres outils. Cela vous évitera une semaine de débogage plus tard.
Comment évaluez-vous vos modèles ? Dites-le-moi dans les commentaires.
Communauté d'apprentissage optionnelle: https://t.me/GyaanSetuAi