पेलिकन बेंचमार्क: AI का 2 वर्षों का विकास
अक्टूबर 2024 में, साइमन विलीसन (Simon Willison) ने सोलह LLMs को एक प्रॉम्प्ट दिया: "साइकिल चलाते हुए एक पेलिकन (pelican) का SVG जेनरेट करें।"
उन्होंने पिछले दो वर्षों से हर नए मॉडल पर यही प्रॉम्प्ट चलाया है। अब उनके पास 66 अलग-अलग मॉडलों से प्राप्त 103 चित्र हैं।
हमने इन छवियों को एक स्थान पर इकट्ठा किया है: pelicanzoo.ai।
यह प्रयोग हमें AI के बारे में क्या सिखाता है, यहाँ देखें:
- SVG कोड है, पिक्सेल नहीं। LLMs देख नहीं सकते, लेकिन वे कोड लिख सकते हैं। उन्हें केवल निर्देशांक (coordinates) और त्रिज्या (radii) का उपयोग करके एक चित्र बनाना होता है।
- यह कार्य कठिन है। मनुष्यों के लिए याददाश्त से साइकिल बनाना मुश्किल होता है। पेलिकन का आकार भी साइकिल चलाने के लिए उपयुक्त नहीं होता।
- शुरुआती मॉडल मज़ेदार तरीकों से विफल रहे। कुछ ने त्रिकोण और वृत्त बनाए। अन्य ने ऐसे आकार बनाए जो सिंक या ट्रैक्टर जैसे दिखते थे।
- क्षमता ट्रैकिंग (Capability tracking) बदल गई है। पहले वर्ष में, बेहतर पेलिकन का अर्थ बेहतर कोडिंग कौशल था। अब, वह संबंध खत्म हो गया है।
- छोटे मॉडल भी जीत सकते हैं। लैपटॉप पर चलने वाले एक छोटे मॉडल ने एक बार एक विशाल फ्लैगशिप मॉडल की तुलना में बेहतर पेलिकन बनाया था।
एक "बेवकूफी भरा" टेस्ट क्यों चलाते रहें?
यह दो व्यावहारिक उद्देश्यों को पूरा करता है:
- यह साबित करता है कि मॉडल काम कर रहा है। पेलिकन पोस्ट करने से पता चलता है कि आपने केवल समाचार पढ़ने के बजाय वास्तव में मॉडल चलाया है।
- यह छिपे हुए डेटा को उजागर करता है। आप देख सकते हैं कि एक मॉडल कितने टोकन का उपयोग करता है और एक साधारण छवि जेनरेट करने की लागत कितनी आती है।
पेलिकन टेस्ट अब सर्वश्रेष्ठ AI को रैंक करने का तरीका नहीं रह गया है। यह एक अनुष्ठान (ritual) है। यह आपको मॉडल के व्यक्तित्व को दिखाता है। आप देख सकते हैं कि एक मॉडल पक्षी को एक छोटी टोपी पहना देता है, जबकि दूसरा साइकिल बनाने से ही इनकार कर देता है क्योंकि पक्षी साइकिल नहीं चला सकते।
एक मॉडल ने तो केवल एक पक्षी बनाने के लिए 13,000 टोकन और 25 सेंट का उपयोग किया।
ये चित्र कोड के माध्यम से AI का इतिहास दिखाते हैं।
संग्रह देखने के लिए pelicanzoo.ai पर जाएं।