پیلیکن بینچ مارک: AI کا دو سالہ ارتقاء
اکتوبر 2024 میں، سائمن وِلیسن (Simon Willison) نے سولہ LLMs کو ایک پرامپٹ دیا: "ایک سائیکل چلاتے ہوئے پیلیکن کا SVG تیار کریں۔"
انہوں نے دو سال تک ہر نئے ماڈل پر یہی پرامپٹ چلایا ہے۔ اب ان کے پاس 66 مختلف ماڈلز کے 103 خاکے موجود ہیں۔
ہم نے ان تصاویر کو ایک جگہ جمع کیا ہے: pelicanzoo.ai۔
یہ تجربہ ہمیں AI کے بارے میں کیا سکھاتا ہے، یہاں ملاحظہ کریں:
- SVG کوڈ ہے، پکسلز نہیں۔ LLMs دیکھ نہیں سکتے، لیکن وہ کوڈ لکھ سکتے ہیں۔ انہیں صرف کوآرڈینیٹس (coordinates) اور ریڈائس (radii) کا استعمال کرتے ہوئے ایک تصویر بنانی ہوتی ہے۔
- یہ کام مشکل ہے۔ انسانوں کے لیے یادداشت سے سائیکل بنانا مشکل ہوتا ہے۔ پیلیکن کی ساخت بھی سائیکل چلانے کے لیے موزوں نہیں ہوتی۔
- ابتدائی ماڈلز دلچسپ انداز میں ناکام ہوئے۔ کچھ نے مثلث اور دائرے بنائے۔ دوسروں نے ایسی شکلیں بنائیں جو سنک یا ٹریکٹر جیسی لگتی تھیں۔
- صلاحیتوں کی نگرانی (capability tracking) بدل گئی۔ پہلے سال میں، بہتر پیلیکن کا مطلب بہتر کوڈنگ مہارتیں تھیں۔ اب وہ تعلق ختم ہو چکا ہے۔
- چھوٹے ماڈلز بھی جیت سکتے ہیں۔ لیپ ٹاپ پر چلنے والے ایک چھوٹے ماڈل نے ایک بار ایک بہت بڑے فلیگ شپ ماڈل سے بہتر پیلیکن بنایا تھا۔
ایک "بیوقوفانہ" ٹیسٹ کیوں جاری رکھا جائے؟
یہ دو عملی مقاصد پورا کرتا ہے:
- یہ ثابت کرتا ہے کہ ماڈل کام کر رہا ہے۔ پیلیکن کی تصویر پوسٹ کرنے سے ظاہر ہوتا ہے کہ آپ نے صرف خبریں پڑھنے کے بجائے واقعی ماڈل چلایا ہے۔
- یہ پوشیدہ ڈیٹا کو ظاہر کرتا ہے۔ آپ دیکھ سکتے ہیں کہ ایک ماڈل کتنے ٹوکنز (tokens) استعمال کرتا ہے اور ایک سادہ سی تصویر بنانے پر کتنا خرچ آتا ہے۔
پیلیکن ٹیسٹ اب بہترین AI کی درجہ بندی کرنے کا طریقہ نہیں رہا۔ یہ ایک رسم بن چکا ہے۔ یہ آپ کو ایک ماڈل کی شخصیت دکھاتا ہے۔ آپ دیکھ سکتے ہیں کہ ایک ماڈل پرندے کو ایک چھوٹی سی ٹوپی پہنا دیتا ہے، جبکہ دوسرا سائیکل بنانے سے بالکل انکار کر دیتا ہے کیونکہ پرندے سائیکل نہیں چلا سکتے۔
ایک ماڈل نے تو محض ایک پرندہ بنانے کے لیے 13,000 ٹوکنز اور 25 سینٹ استعمال کیے۔
یہ خاکے کوڈ کے ذریعے AI کی تاریخ کو ظاہر کرتے ہیں۔
مجموعہ دیکھنے کے لیے pelicanzoo.ai پر جائیں۔