Il Pelican Benchmark: 2 anni di evoluzione dell'IA
Nell'ottobre 2024, Simon Willison ha dato a sedici LLM un unico prompt: "Genera un SVG di un pellicano che va in bicicletta."
Ha eseguito questo stesso prompt su ogni nuovo modello per due anni. Ora ha 103 disegni provenienti da 66 modelli diversi.
Abbiamo raccolto queste immagini in un unico posto: pelicanzoo.ai.
Ecco cosa ci insegna questo esperimento sull'IA:
- L'SVG è codice, non pixel. Gli LLM non possono vedere, ma sanno scrivere codice. Devono costruire un'immagine usando solo coordinate e raggi.
- Il compito è difficile. Le biciclette sono difficili da disegnare per gli esseri umani partendo dalla memoria. I pellicani non hanno la forma adatta per cavalcarle.
- I primi modelli hanno fallito in modi divertenti. Alcuni hanno disegnato triangoli e cerchi. Altri hanno disegnato forme che sembravano lavandini o trattori.
- Il monitoraggio delle capacità è cambiato. Nel primo anno, pellicani migliori significavano migliori capacità di programmazione. Ora, quel legame è scomparso.
- I modelli piccoli possono vincere. Un piccolo modello eseguito su un laptop ha disegnato una volta un pellicano migliore di un enorme modello flagship.
Perché continuare a eseguire un test "stupido"?
Serve a due scopi pratici:
- Dimostra che un modello funziona. Pubblicare un pellicano dimostra che hai effettivamente eseguito il modello invece di limitarti a leggere le notizie.
- Rivela dati nascosti. Puoi vedere quanti token utilizza un modello e quanto costa generare una singola immagine semplice.
Il test del pellicano non è più un modo per classificare la migliore IA. È un rituale. Mostra la personalità di un modello. Potresti vedere un modello che aggiunge un piccolo cappello a un uccello, mentre un altro si rifiuta del tutto di disegnare una bici perché gli uccelli non possono usarle.
Un modello ha persino utilizzato 13.000 token e 25 centesimi solo per disegnare un uccello.
I disegni mostrano la storia dell'IA attraverso il codice.
Visita pelicanzoo.ai per vedere la collezione.