The Pelican Benchmark: 2 lata ewolucji AI
W październiku 2024 roku Simon Willison podał szesnastu modelom LLM jeden prompt: „Wygeneruj plik SVG przedstawiający pelikana jadącego na rowerze”.
Przez dwa lata uruchamiał ten sam prompt na każdym nowym modelu. Obecnie posiada 103 rysunki pochodzące z 66 różnych modeli.
Zebraliśmy te obrazy w jednym miejscu: pelicanzoo.ai.
Oto czego ten eksperyment uczy nas o AI:
- SVG to kod, a nie piksele. Modele LLM nie potrafią widzieć, ale potrafią pisać kod. Muszą zbudować obraz, używając jedynie współrzędnych i promieni.
- To trudne zadanie. Ludziom trudno jest narysować rower z pamięci. Pelikany nie mają odpowiedniego kształtu, aby na nim jeździć.
- Wczesne modele zawodziły w zabawny sposób. Niektóre rysowały trójkąty i koła. Inne tworzyły kształty przypominające zlewy lub traktory.
- Monitorowanie możliwości uległo zmianie. W pierwszym roku lepsze pelikany oznaczały lepsze umiejętności programistyczne. Teraz to powiązanie już nie istnieje.
- Małe modele mogą wygrywać. Mały model uruchomiony na laptopie narysował kiedyś lepszego pelikana niż potężny model flagowy.
Dlaczego wciąż przeprowadza się ten „głupi” test?
Służy on dwóm praktycznym celom:
- Dowodzi, że model działa. Opublikowanie pelikana pokazuje, że faktycznie uruchomiłeś model, a nie tylko czytałeś wiadomości.
- Ujawnia ukryte dane. Można zobaczyć, ile tokenów zużywa model i ile kosztuje wygenerowanie jednego prostego obrazu.
Test pelikana nie jest już sposobem na ranking najlepszych modeli AI. To rytuał. Pokazuje osobowość modelu. Możesz zobaczyć, jak jeden model dodaje ptakowi małą czapkę, podczas gdy inny całkowicie odmawia narysowania roweru, ponieważ ptaki nie mogą na nim jeździć.
Jeden model zużył nawet 13 000 tokenów i 25 centów tylko po to, by narysować jednego ptaka.
Rysunki te pokazują historię AI poprzez kod.
Odwiedź pelicanzoo.ai, aby zobaczyć kolekcję.