کیا آپ کو روزمرہ کے کاموں کے لیے سب سے جدید AI کی ضرورت ہے؟
ہر ہفتے نئے AI ماڈلز آتے ہیں۔ لوگ بینچ مارکس اور کوڈنگ اسکورز پر بحث کرتے ہیں۔ ہم سب پرجوش ہو جاتے ہیں۔
لیکن میں نے ایک مختلف سوال پوچھنا شروع کیا۔ کیا آپ کو واقعی اپنے روزمرہ کے کاموں کے لیے سب سے جدید ماڈل کی ضرورت ہے؟
میں نے حال ہی میں اس کا تجربہ کیا۔ میں نے کوڈ ری فیکٹرنگ (code refactoring) کے ایک کام کے لیے دو ماڈلز کا موازنہ کیا۔
- Sonnet کی قیمت 76.1 کریڈٹس تھی۔
- Haiku کی قیمت 13.3 کریڈٹس تھی۔
Haiku 5.7 گنا سستا تھا۔ میں نے توقع کی تھی کہ مہنگا ماڈل جیت جائے گا۔ لیکن ایسا نہیں ہوا۔
Haiku نے بہتر نتیجہ دیا۔ اس نے کوڈ کو تین صاف ستھرے فائلوں میں تقسیم کر دیا۔ اس نے Sonnet کے مقابلے میں ہمارے کوڈنگ اسٹینڈرڈز پر بہتر طریقے سے عمل کیا۔ یہ سستا اور زیادہ مؤثر تھا۔
بڑا اور مہنگا ہونے کا مطلب بہتر ہونا نہیں ہے۔
ماڈل کی صلاحیت عمل کا صرف ایک حصہ ہے۔ میں بہتر نتائج حاصل کرنے کے لیے ایک AI ڈویلپمنٹ ہارنس (AI development harness) استعمال کرتا ہوں۔ اس ہارنس میں شامل ہیں:
• ریپوزٹری سے متعلقہ ہدایات (Repository-specific instructions) • کوڈنگ اسٹینڈرڈز (Coding standards) • آرکیٹیکچرل رہنمائی (Architectural guidance) • ڈویلپمنٹ ورک فلو (Development workflows) • پروجیکٹ کا سیاق و سباق (Project context) • ریویو کی توقعات (Review expectations)
جب آپ یہ حفاظتی حدود (guardrails) قائم کرتے ہیں، تو چھوٹے ماڈلز بہتر کارکردگی دکھاتے ہیں۔ ماڈل یہ اندازہ نہیں لگاتا کہ اچھا کوڈ کیسا لگتا ہے۔ ماحول اسے بتاتا ہے۔
زیادہ تر انجینئرنگ کے کام تحقیقی مسائل نہیں ہوتے۔ ری فیکٹرنگ، ٹیسٹ لکھنے، یا دستاویزات تیار کرنے جیسے کاموں کے لیے کسی بہت بڑے ماڈل کی ضرورت نہیں ہوتی۔
یہ پوچھنا بند کریں کہ کس ماڈل کا بینچ مارک سب سے زیادہ ہے۔ اس کے بجائے یہ سوالات پوچھیں:
- کیا کام مکمل ہو گیا؟
- کیا نتیجے کو برقرار رکھنا آسان ہے؟
- کیا یہ پروجیکٹ کے معیار کے مطابق ہے؟
- کیا اس کی قیمت کے مطابق فائدہ ہوا؟
- کیا ٹیم اسے سستے طریقے سے بڑے پیمانے پر (scale) کر سکتی ہے؟
اس سب سے کم قیمت ماڈل کا استعمال کریں جو آپ کا مسئلہ حل کر دے۔
AI کی صنعت ذہانت پر توجہ مرکوز کرتی ہے۔ آپ کو ہارنس (harness) کے معیار پر توجہ دینی چاہیے۔ ایک ماڈل جو 5.7 گنا کم قیمت ہو، بہتر نتائج دے سکتا ہے اگر آپ اسے صحیح سیاق و سباق (context) فراہم کریں۔
Optional learning community: https://t.me/GyaanSetuAi