𝗔 𝗠𝗲𝗻𝘁𝗶𝗿𝗮 𝗱𝗼𝘀 𝗕𝗲𝗻𝗰𝗵𝗺𝗮𝗿𝗸𝘀 𝗱𝗲 𝗟𝗟𝗠
As pontuações dos leaderboards costumam mentir para você.
No mês passado, testei modelos para um pipeline de agentes. Escolhi o modelo no topo de um leaderboard popular. Eu o implementei. Ele falhou imediatamente em tarefas básicas de uso de ferramentas.
A pontuação era real. A pontuação também era inútil para as minhas necessidades.
A maioria dos benchmarks públicos testa modelos de forma isolada. Em produção, você executa agentes. Esses agentes chamam ferramentas, pesquisam na web e executam código. Benchmarks padrão não medem isso.
Dados do relatório LXT de fevereiro de 2026 mostram uma lacuna enorme quando o acesso a ferramentas é habilitado:
• Claude Opus 4.6: 53.1% • GPT-5.3 Codex: 36% • GLM-5: 32%
Sem o acesso a ferramentas, essas pontuações caem. A lacuna entre as pontuações com auxílio de ferramentas e sem ferramentas é a única métrica que importa para agentes.
O BenchLM.ai confirma isso. Modelos que vencem em trivia ou testes estáticos como o MMLU frequentemente falham ao escrever uma única chamada de função.
Se você precisa que um e-mail seja escrito, um benchmark padrão funciona. Se você constrói um agente, foque nestas três coisas:
Confiabilidade na chamada de ferramentas. O modelo consegue formatar chamadas corretamente sob pressão? Ele consegue se recuperar de erros?
Custos da janela de contexto. Usar servidores MCP custa muito mais em tokens. Uma janela de contexto grande é um fardo se você queimar tokens em cada chamada de ferramenta.
Fidelidade de planejamento. O modelo consegue seguir um plano de 5 etapas? A maioria dos modelos perde o fio da meada na terceira etapa.
Pare de usar leaderboards públicos como seu único guia. Faça o seguinte em vez disso:
• Execute um mini-benchmark. Use de 20 a 50 chamadas de ferramentas reais dos seus próprios logs. Meça a precisão no seu esquema específico.
• Teste condições de erro. Veja como o modelo age quando uma ferramenta retorna um resultado vazio ou um erro.
• Meça o custo por tarefa. Um modelo que é 5% melhor, mas 3x mais caro, geralmente é a escolha errada.
• Use leaderboards específicos. Consulte o LLM-stats.com ou o BenchLM.ai para pontuações de uso de ferramentas especificamente.
Dedique uma tarde testando seus próprios dados. Isso economizará uma semana de depuração de um modelo que só parecia bom no papel.
Como você avalia seus modelos? Deixe-me saber nos comentários.
Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi