Le Pelican Benchmark : 2 ans d'évolution de l'IA
En octobre 2024, Simon Willison a soumis un seul prompt à seize LLM : « Générez un SVG d'un pélican faisant du vélo. »
Il a utilisé ce même prompt sur chaque nouveau modèle pendant deux ans. Il dispose désormais de 103 dessins provenant de 66 modèles différents.
Nous avons regroupé ces images en un seul endroit : pelicanzoo.ai.
Voici ce que cette expérience nous apprend sur l'IA :
- Le SVG est du code, pas des pixels. Les LLM ne peuvent pas voir, mais ils savent écrire du code. Ils doivent construire une image en utilisant uniquement des coordonnées et des rayons.
- La tâche est difficile. Les vélos sont difficiles à dessiner de mémoire pour les humains. Les pélicans n'ont pas la morphologie adéquate pour en faire.
- Les premiers modèles ont échoué de manière amusante. Certains dessinaient des triangles et des cercles. D'autres créaient des formes ressemblant à des éviers ou à des tracteurs.
- Le suivi des capacités a évolué. La première année, de meilleurs pélicans signifiaient de meilleures compétences en codage. Aujourd'hui, ce lien n'existe plus.
- Les petits modèles peuvent gagner. Un petit modèle tournant sur un ordinateur portable a un jour dessiné un meilleur pélican qu'un modèle phare massif.
Pourquoi continuer à faire passer un test « stupide » ?
Cela répond à deux objectifs pratiques :
- Cela prouve qu'un modèle fonctionne. Publier un pélican montre que vous avez réellement fait tourner le modèle au lieu de simplement lire l'actualité.
- Cela révèle des données cachées. Vous pouvez voir combien de tokens un modèle utilise et combien coûte la génération d'une seule image simple.
Le test du pélican n'est plus un moyen de classer les meilleures IA. C'est un rituel. Il révèle la personnalité d'un modèle. Vous pourriez voir un modèle ajouter un petit chapeau à l'oiseau, tandis qu'un autre refusera tout simplement de dessiner un vélo parce que les oiseaux ne peuvent pas en faire.
Un modèle a même utilisé 13 000 tokens et 25 cents juste pour dessiner un seul oiseau.
Les dessins retracent l'histoire de l'IA à travers le code.
Visitez pelicanzoo.ai pour voir la collection.