O Benchmark do Pelicano: 2 Anos de Evolução da IA
Em outubro de 2024, Simon Willison deu um único prompt a dezesseis LLMs: "Gere um SVG de um pelicano andando de bicicleta."
Ele executou esse mesmo prompt em cada novo modelo durante dois anos. Agora, ele possui 103 desenhos de 66 modelos diferentes.
Nós reunimos essas imagens em um só lugar: pelicanzoo.ai.
Eis o que este experimento nos ensina sobre a IA:
- SVG é código, não pixels. LLMs não conseguem ver, mas conseguem escrever código. Eles devem construir uma imagem usando apenas coordenadas e raios.
- A tarefa é difícil. Bicicletas são difíceis de desenhar de memória para seres humanos. Pelicanos não têm o formato adequado para montá-las.
- Os primeiros modelos falharam de maneiras engraçadas. Alguns desenharam triângulos e círculos. Outros desenharam formas que pareciam pias ou tratores.
- O acompanhamento de capacidades mudou. No primeiro ano, pelicanos melhores significavam melhores habilidades de codificação. Agora, esse vínculo desapareceu.
- Modelos pequenos podem vencer. Um modelo pequeno rodando em um laptop chegou a desenhar um pelicano melhor do que um modelo flagship massivo.
Por que continuar executando um teste "estúpido"?
Ele serve a dois propósitos práticos:
- Ele prova que um modelo funciona. Postar um pelicano mostra que você realmente executou o modelo em vez de apenas ler as notícias.
- Ele revela dados ocultos. Você pode ver quantos tokens um modelo usa e quanto custa para gerar uma única imagem simples.
O teste do pelicano não é mais uma forma de classificar a melhor IA. É um ritual. Ele mostra a personalidade de um modelo. Você pode ver um modelo adicionando um pequeno chapéu ao pássaro, enquanto outro se recusa totalmente a desenhar uma bicicleta porque pássaros não podem montá-las.
Um modelo chegou a usar 13.000 tokens e 25 centavos apenas para desenhar um pássaro.
Os desenhos mostram a história da IA através do código.
Visite pelicanzoo.ai para ver a coleção.