The Pelican Benchmark: 2 Years of AI Evolution
Pada Oktober 2024, Simon Willison memberikan satu perintah kepada enam belas LLM: "Buatlah sebuah SVG dari seekor pelikan yang sedang mengendarai sepeda."
Ia telah menjalankan perintah yang sama pada setiap model baru selama dua tahun. Kini ia memiliki 103 gambar dari 66 model yang berbeda.
Kami mengumpulkan gambar-gambar ini di satu tempat: pelicanzoo.ai.
Berikut adalah apa yang diajarkan eksperimen ini kepada kita tentang AI:
- SVG adalah kode, bukan piksel. LLM tidak bisa melihat, tetapi mereka bisa menulis kode. Mereka harus membangun sebuah gambar hanya dengan menggunakan koordinat dan jari-jari.
- Tugas ini sulit. Sepeda sulit digambar oleh manusia hanya dari ingatan. Pelikan tidak memiliki bentuk tubuh yang tepat untuk mengendarainya.
- Model-model awal gagal dengan cara yang lucu. Beberapa menggambar segitiga dan lingkaran. Yang lain menggambar bentuk yang tampak seperti wastafel atau traktor.
- Pelacakan kemampuan telah berubah. Pada tahun pertama, pelikan yang lebih baik berarti keterampilan coding yang lebih baik. Sekarang, hubungan itu telah hilang.
- Model kecil bisa menang. Sebuah model kecil yang berjalan di laptop pernah menggambar pelikan yang lebih baik daripada model flagship yang masif.
Mengapa terus menjalankan tes yang "bodoh"?
Ini melayani dua tujuan praktis:
- Ini membuktikan sebuah model berfungsi. Mengunggah gambar pelikan menunjukkan bahwa Anda benar-benar menjalankan model tersebut, bukan sekadar membaca berita.
- Ini mengungkap data tersembunyi. Anda dapat melihat berapa banyak token yang digunakan sebuah model dan berapa biaya yang dikeluarkan untuk menghasilkan satu gambar sederhana.
Tes pelikan bukan lagi cara untuk meranking AI terbaik. Ini adalah sebuah ritual. Ini menunjukkan kepribadian sebuah model kepada Anda. Anda mungkin melihat satu model menambahkan topi kecil pada burung, sementara model lain menolak untuk menggambar sepeda sama sekali karena burung tidak bisa mengendarainya.
Satu model bahkan menggunakan 13.000 token dan 25 sen hanya untuk menggambar satu ekor burung.
Gambar-gambar tersebut menunjukkan sejarah AI melalui kode.
Kunjungi pelicanzoo.ai untuk melihat koleksinya.