Modelos de visão-linguagem (VLMs) ainda falham em tarefas visuais elementares. Uma nova avaliação do PerceptionBench descobriu que nenhum dos dezesseis principais sistemas ultrapassa 60% de precisão geral, e mesmo o mais forte permanece abaixo de 80% em qualquer habilidade individual. O resultado alerta os desenvolvedores de que pontuações altas em testes populares de legendagem ou raciocínio não garantem uma visão confiável.

Por que os testes existentes escondem o problema

A maioria dos benchmarks públicos mistura descrição de imagens, resposta a perguntas e raciocínio de senso comum. Quando um modelo gera uma legenda errada, o erro pode ser um deslize linguístico, um erro de raciocínio ou uma simples falha em reconhecer o objeto. Como os três componentes estão entrelaçados, uma pontuação baixa não dá pistas sobre a deficiência visual. Portanto, as equipes que constroem aplicações obtêm uma confiança inflada a partir dos números de destaque, assumindo que o modelo "vê" corretamente.

O que o PerceptionBench faz de diferente

O PerceptionBench isola dez habilidades visuais e avalia cada modelo em um conjunto de tarefas de visão pura. Ao remover a linguagem e o raciocínio, o benchmark mostra o quão bem o front-end visual funciona por conta própria. De modo geral, os dezesseis principais VLMs não atingem o limite de 60% de precisão, e o sistema de melhor desempenho nunca chega a 80% em nenhuma habilidade individual. A alucinação — produzir detalhes que não estão na imagem — é o erro mais comum, enquanto o padrão de pontos fortes e fracos varia amplamente entre os modelos.

Quem pode perder

Desenvolvedores não devem substituir classificadores visuais dedicados por modelos de IA generalistas.

Onde o argumento falha

Os dados do PerceptionBench mostram retornos decrescentes: mesmo os maiores modelos ainda tropeçam em tarefas básicas de percepção.

Passos práticos para desenvolvedores

  • Mantenha classificadores visuais dedicados para tarefas que exigem precisão; trate os VLMs como complementares em vez de substitutos.
  • Adicione uma camada de verificação que faça o cruzamento das saídas do modelo com um detector confiável antes que elas cheguem ao usuário.
  • Implemente um filtro de visão leve para detectar alucinações óbvias ou classificações incorretas precocemente no pipeline.

Combinar um VLM de propósito geral com um componente de visão construído especificamente permite que as equipes utilizem as habilidades de raciocínio do primeiro, enquanto se protegem contra seus pontos cegos visuais.

Fonte: https://dev.to/olaughter/vision-language-models-cap-at-sixty-percent-accuracy-nj1