اب کوئی آپ کا 70B پیرامیٹر والا ماڈل نہیں چاہتا

اے آئی (AI) کی دنیا پہلے صرف پیمانے (scale) پر توجہ مرکوز کرتی تھی۔

لوگ بڑے ماڈلز، بڑے کانٹیکسٹ ونڈوز (context windows) اور بڑے بینچ مارکس کے پیچھے بھاگتے تھے۔ اگر آپ کا ماڈل بہت بڑا نہ ہوتا، تو آپ اس مقابلے میں شامل ہی نہیں تھے۔

وہ دور ختم ہو رہا ہے۔

بڑے ماڈلز متاثر کن ہوتے ہیں۔ لیکن زیادہ تر لوگوں کو اتنی زیادہ طاقت کی ضرورت نہیں ہوتی۔ کار کے ڈیش بورڈ اسسٹنٹ کو نظمیں لکھنے کی ضرورت نہیں ہوتی۔ اسے صرف "اے سی کم کر دیں" جیسی بات سمجھنے اور بیٹری ختم کیے بغیر کام کرنے کی ضرورت ہوتی ہے۔

پانچ اہم وجوہات کی بنا پر چھوٹے اور مخصوص (specialized) ماڈلز جگہ بنا رہے ہیں:

  • آن ڈیوائس استعمال (On-device use): اب فونز میں چھوٹے ماڈلز کو مقامی طور پر چلانے کے لیے ہارڈ ویئر موجود ہے۔ آپ کا اسسٹنٹ انٹرنیٹ کے بغیر کسی سرنگ یا پرواز کے دوران بھی کام کر سکتا ہے۔
  • رازداری اور ریگولیشن (Privacy and regulation): ہسپتال اور قانون کی فرمیں حساس ڈیٹا کسی تھرڈ پارٹی API کو نہیں بھیج سکتیں۔ مقامی ہارڈ ویئر پر چھوٹا ماڈل چلانے سے ڈیٹا عمارت کے اندر ہی محفوظ رہتا ہے۔
  • کم لیٹنسی (Low latency): ایک خودکار گاڑی (self-driving car) یہ فیصلہ کرنے کے لیے کلاؤڈ سرور کا انتظار نہیں کر سکتی کہ کوئی شکل پیدل چلنے والے انسان کی ہے یا نہیں۔ ماڈل کو وہیں ہونا چاہیے جہاں فیصلہ کیا جانا ہو۔
  • کم لاگت (Lower costs): ایک بہت بڑے ماڈل پر لاکھوں درخواستیں (requests) چلانا آپ کے منافع کو ختم کر دیتا ہے۔ ایک ٹیون شدہ چھوٹا ماڈل اکثر سستا اور زیادہ پائیدار ہوتا ہے۔
  • کمزور کنیکٹیویٹی (Poor connectivity): دنیا کے بہت سے حصوں میں انٹرنیٹ مستقل دستیاب نہیں ہوتا۔ چھوٹے ماڈلز مصنوعات کو آف لائن کام کرنے کی اجازت دیتے ہیں۔

آپ تین اہم طریقوں سے ماڈلز کو چھوٹا بنا سکتے ہیں:

  • کوانٹائزیشن (Quantization): جگہ بچانے کے لیے ماڈل کے ویٹس (weights) کی درستگی (precision) کو کم کرنا۔
  • پروننگ (Pruning): غیر ضروری کنکشنز کو ہٹانا جو کوئی اہمیت نہیں رکھتے۔
  • نالج ڈسٹلیشن (Knowledge distillation): ایک بڑے ماڈل کو استعمال کرتے ہوئے چھوٹے ماڈل کو اس کی منطق (reasoning) کی نقل کرنا سکھانا۔

یہ تبدیلی مطلوبہ مہارتوں (skill set) کو بدل رہی ہے۔

ایک بہت بڑے ماڈل کو پرامپٹ (prompting) دینا ایک مہارت ہے۔ ایک مخصوص ماڈل کا انتخاب کرنا، اسے فائن ٹیون (fine-tuning) کرنا اور اسے ڈیپلائے (deploying) کرنا ایک مختلف انجینئرنگ چیلنج ہے۔ یہ رفتار، لاگت اور درستگی کے درمیان توازن (tradeoffs) پیدا کرنے کے بارے میں ہے۔

ایک ایسا بہت بڑا ٹول بنانے کی کوشش چھوڑ دیں جو ہر کام ناقص طریقے سے کرتا ہو۔ اس کے بجائے کئی چھوٹے ٹولز بنائیں جو ایک کام بہترین طریقے سے کریں۔

چھوٹا ماڈل کوئی کم درجے کی چیز نہیں ہے۔ یہ کام کے لیے ایک بہتر ٹول ہے۔

Source: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Optional learning community: https://t.me/GyaanSetuAi