Penanda Aras Pelican: 2 Tahun Evolusi AI
Pada Oktober 2024, Simon Willison memberikan enam belas LLM satu arahan: "Hasilkan SVG seekor pelikan menunggang basikal."
Beliau telah menjalankan arahan yang sama pada setiap model baharu selama dua tahun. Beliau kini mempunyai 103 lukisan daripada 66 model yang berbeza.
Kami mengumpulkan imej-imej ini di satu tempat: pelicanzoo.ai.
Berikut adalah apa yang eksperimen ini ajarkan kepada kita tentang AI:
- SVG ialah kod, bukan piksel. LLM tidak boleh melihat, tetapi mereka boleh menulis kod. Mereka mesti membina gambar hanya dengan menggunakan koordinat dan jejari.
- Tugasan ini sukar. Basikal sukar dilukis oleh manusia daripada ingatan. Pelikan pula tidak mempunyai bentuk yang sesuai untuk menunggangnya.
- Model-model awal gagal dengan cara yang lucu. Ada yang melukis segi tiga dan bulatan. Ada pula yang melukis bentuk yang kelihatan seperti sinki atau traktor.
- Penjejakan keupayaan telah berubah. Pada tahun pertama, pelikan yang lebih baik bermaksud kemahiran pengekodan yang lebih baik. Kini, kaitan itu sudah tiada.
- Model kecil boleh menang. Sebuah model kecil yang dijalankan pada komputer riba pernah melukis pelikan yang lebih baik daripada model utama yang besar.
Mengapa terus menjalankan ujian yang "bodoh"?
Ia memenuhi dua tujuan praktikal:
- Ia membuktikan sesuatu model itu berfungsi. Memuat naik gambar pelikan menunjukkan anda benar-benar telah menjalankan model tersebut dan bukannya sekadar membaca berita.
- Ia mendedahkan data tersembunyi. Anda boleh melihat berapa banyak token yang digunakan oleh sesuatu model dan berapa kos untuk menghasilkan satu imej ringkas.
Ujian pelikan bukan lagi cara untuk menyusun kedudukan AI terbaik. Ia adalah satu ritual. Ia menunjukkan personaliti sesuatu model. Anda mungkin melihat satu model menambah topi kecil pada burung, manakala model lain enggan melukis basikal langsung kerana burung tidak boleh menunggangnya.
Sebuah model malah menggunakan 13,000 token dan 25 sen hanya untuk melukis seekor burung.
Lukisan-lukisan tersebut menunjukkan sejarah AI melalui kod.
Layari pelicanzoo.ai untuk melihat koleksi tersebut.