انٹرپرائز AI پروجیکٹس کا ایک خاص نمونہ ہوتا ہے۔ ایک ٹیم ایک پروٹو ٹائپ بناتی ہے۔ ڈیمو متاثر کن لگتا ہے۔ پھر، تین ماہ بعد، سسٹم ٹوٹ پھوٹنا شروع ہو جاتا ہے۔ جوابات اپنی سمت سے ہٹ جاتے ہیں۔ اخراجات بڑھ جاتے ہیں۔ ایک کمپلائنس آفیسر پوچھتا ہے کہ ایک مخصوص جواب کہاں سے آیا، اور کمرے میں موجود کوئی بھی اس کا جواب نہیں دے سکتا۔
یہ تباہی شاذ و نادر ہی خراب کوڈ سے شروع ہوتی ہے۔ اس کا آغاز ایک ایسے سنگل آرکیٹیکچرل انتخاب سے ہوتا ہے جسے مقبولیت کے مقابلے کی طرح سمجھا جاتا ہے: Retrieval-Augmented Generation بمقابلہ fine-tuning۔
RAG اور fine-tuning ایک ہی پروڈکٹ کے دو ورژن نہیں ہیں۔ یہ بنیادی طور پر مختلف ٹولز ہیں۔ ایک اس بات کو کنٹرول کرتا ہے کہ ماڈل کیا دیکھ سکتا ہے۔ دوسرا اس بات کو کنٹرول کرتا ہے کہ ماڈل کیسا برتاؤ کرتا ہے۔ کام کے لیے غلط انتخاب کا اثر پروٹو ٹائپ میں نظر نہیں آئے گا۔ یہ بعد میں نظر آئے گا، جب کاروبار اس پر چل رہا ہوگا۔
ڈیمو کا جال
جنریٹیو AI فیچر کو جلد لانچ کرنے کا دباؤ بہت زیادہ ہوتا ہے۔ ٹیمیں اکثر کسی طریقے کا انتخاب اس لیے کرتی ہیں کیونکہ انہوں نے اسے کسی اچھے ٹیوٹوریل میں دیکھا ہوتا ہے یا کسی وینڈر کی سلائیڈ ڈیک نے اسے آسان بنا کر دکھایا ہوتا ہے۔ انفراسٹرکچر کے فیصلے کرنے کا یہ ایک انتہائی برا طریقہ ہے۔
ایک fine-tuned ماڈل کنٹرول شدہ ڈیمو میں جادوئی لگ سکتا ہے۔ یہ آپ کی کمپنی کی آواز میں بات کرتا ہے اور آپ کے پروڈکٹ کے ناموں کو پہچانتا ہے۔ ایک RAG پائپ لائن بھی جادوئی لگ سکتی ہے۔ یہ ایسے دستاویز پر سوالات کے جوابات دیتا ہے جس پر اسے کبھی ٹرین نہیں کیا گیا۔ لیکن ڈیمو آپریشنل حقیقت کو چھپا لیتا ہے۔ اگر آپ کا پرائسنگ ڈیٹا ہفتہ وار تبدیل ہوتا ہے اور آپ نے گزشتہ سہ ماہی کے اعداد و شمار پر fine-tuning کی ہے، تو ماڈل اعتماد کے ساتھ پرانے اعداد و شمار پیش کرے گا۔ اگر آپ کی سپورٹ ٹیم کو ہر جواب کے لیے کسی مخصوص پالیسی PDF کا حوالہ چاہیے، تو ایک fine-tuned ماڈل آپ کو کوئی فٹ نوٹ نہیں دے گا۔ یہ صرف آپ کو متن (text) فراہم کرتا ہے۔
RAG کا اصل مطلب کیا ہے
RAG کا مطلب Retrieval-Augmented Generation ہے، لیکن یہ نام اسے اس کے مقابلے میں زیادہ پیچیدہ ظاہر کرتا ہے۔ بنیادی طور پر، RAG ایک ہی سوال کا جواب دیتا ہے: ماڈل کو اس وقت کس چیز کو تلاش کرنے کی ضرورت ہے؟
ایک کسٹمر سروس ایجنٹ کا تصور کریں جسے ٹکٹ کا جواب دینے سے پہلے کمپنی کی وکی (wiki) تلاش کرنے کی اجازت ہو۔ RAG بالکل یہی کام خودکار طریقے سے کرتا ہے۔ جب کوئی صارف سوال پوچھتا ہے، تو سسٹم متعلقہ متن کے ٹکڑوں (chunks) کے لیے ویکٹر ڈیٹا بیس یا ڈاکومنٹ اسٹور میں تلاش کرتا ہے۔ پھر یہ ان ٹکڑوں کو اصل سوال کے ساتھ سیاق و سباق (context) کے طور پر لینگویج ماڈل کے حوالے کر دیتا ہے۔ ماڈل حاصل شدہ شواہد کی بنیاد پر جواب تیار کرتا ہے۔
یہ طریقہ کار اس وقت بہترین ثابت ہوتا ہے جب آپ کا نالج بیس ماڈل سے باہر ہو۔ پروڈکٹ کی دستاویزات، قانونی فائلنگ، طبی تحقیق، اور انوینٹری اسپریڈ شیٹس، یہ سب تبدیل ہوتی رہتی ہیں۔ RAG کسی بھی ویٹ (weight) کو دوبارہ ٹرین کیے بغیر ماڈل کو اپ ٹو ڈیٹ رکھتا ہے۔ یہ ایک قدرتی آڈٹ ٹریل بھی تخلیق کرتا ہے۔ چونکہ آپ جانتے ہیں کہ کون سی دستاویزات تلاش کی گئی تھیں، اس لیے آپ آڈیٹر یا ریگولیٹر کو بالکل دکھا سکتے ہیں کہ جواب کہاں سے آیا۔
Fine-Tuning کا اصل مطلب کیا ہے
Fine-tuning ایک مختلف سوال کا جواب دیتی ہے: ماڈل کو کیسا برتاؤ کرنا چاہیے؟
ماڈل کو بیرونی مطالعہ کا مواد دینے کے بجائے، آپ اسے مثالوں کے ذریعے سکھاتے ہیں۔ آپ مطلوبہ آؤٹ پٹس کی سینکڑوں یا ہزاروں مثالیں جمع کرتے ہیں، اور اس ڈیٹا پر بیس ماڈل کی ٹریننگ جاری رکھتے ہیں۔ یہ عمل درحقیقت ماڈل کے اندرونی پیرامیٹرز کو ایڈجسٹ کرتا ہے۔ یہ ویٹس (weights) کو تبدیل کرتا ہے۔
اس کا نتیجہ ایک ایسا ماڈل ہوتا ہے جس نے پیٹرنز کو اپنے اندر جذب کر لیا ہو۔