واٹس ایپ پر مبنی ایک نیا RAG (retrieval-augmented generation) اسسٹنٹ، ہر جواب کے لیے JSON-encoded حوالہ (citation) کا مطالبہ کر کے غلط معلومات دینے (hallucinating) کا عمل روکنے میں کامیاب ہو گیا۔ جب ماڈل کسی مخصوص چنک (chunk) کی طرف اشارہ نہیں کر سکا، تو اس نے "میرے پاس اس کا جواب دینے کے لیے کافی معلومات نہیں ہیں" کا جواب دیا، جس سے ایک پراعتماد جھوٹے سے ایک قابلِ اعتماد "مجھے نہیں معلوم" والے سسٹم میں تبدیلی آگئی۔

RAG میں اعتماد کیوں اہم ہے

RAG پر مبنی زیادہ تر ٹیوٹوریلز صرف ریٹریول (retrieval) پر توجہ مرکوز کرتے ہیں—جیسے ایمبیڈنگز (embeddings) کا انتخاب کرنا، دستاویزات کو چنکس (chunks) میں تقسیم کرنا، اور نتائج کی دوبارہ درجہ بندی (re-ranking) کرنا۔ وہ اس بات کو نظر انداز کر دیتے ہیں کہ متعلقہ متن ملنے کے بعد کیا ہوتا ہے۔ جب اسسٹنٹ ایک ایسا حتمی جواب دیتا ہے جس کی متعلقہ سیاق و سباق (context) سے تائید نہیں ہوتی، تو صارفین کا بھروسہ ٹوٹ جاتا ہے۔

اعتماد کا فرق

PostgreSQL اور pgvector ایکسٹینشن کے ساتھ بنائے گئے ایک پروٹو ٹائپ میں، ریٹریول پائپ لائن سادہ تھی۔ اصل چیلنج پروڈکشن کے دوران سامنے آیا: لینگویج ماڈل پراعتماد معلوم ہوتا تھا، چاہے حاصل کردہ اقتباس (snippet) میں مطلوبہ معلومات موجود نہ ہوں۔ ایک ڈیمو اس مسئلے کو چھپا سکتا تھا، لیکن حقیقی صارفین نے پراعتماد نظر آنے اور درست ہونے کے درمیان فرق کو بے نقاب کر دیا۔

JSON کے ذریعے حوالوں کا نفاذ

ماڈل کو "صرف تب جواب دیں جب آپ کے پاس سیاق و سباق ہو" جیسے پرامپٹس (prompts) کے ذریعے منانے کے بجائے، مصنف نے آؤٹ پٹ کا فارمیٹ تبدیل کر دیا۔ اب سسٹم کے لیے ایک JSON آبجیکٹ ضروری ہے جہاں ہر دعوے کے ساتھ اس کی تائید کرنے والے درست چنک کا حوالہ شامل ہو۔ اگر ماڈل حوالہ منسلک نہیں کر سکتا، تو جواب مسترد کر دیا جاتا ہے اور صارف کو واضح طور پر "مجھے نہیں معلوم" کا پیغام نظر آتا ہے۔

اس نفاذ کو قدرتی زبان کی ہدایات سے منتقل کر کے اسکیما ویلیڈیشن (schema validation) پر منتقل کر دیا گیا۔ ماڈل اب بھی متن تیار کرتا ہے، لیکن ارد گرد کا کوڈ یہ چیک کرتا ہے کہ صارف تک پہنچنے سے پہلے JSON مطلوبہ ڈھانچے کے مطابق ہے یا نہیں۔

کیا تبدیل ہوا

  • چنکنگ (Chunking) زیادہ محتاط ہو گئی۔ مبہم یا ضرورت سے زیادہ وسیع چنکس اب بغیر حوالوں کے دعوے پیدا کرتے ہیں، جس سے "مجھے نہیں معلوم" والا متبادل طریقہ (fallback) فعال ہو جاتا ہے۔
  • سسٹم پرامپٹ (System prompt) مختصر ہو گیا۔ ماڈل کے رویے کو کنٹرول کرنے کی کوشش کرنے والے طویل پرامپٹ کی جگہ مختصر ہدایات نے لے لی، جس سے اسکیما کو اصل کام کرنے کا موقع ملا۔
  • ناکامیوں کا سامنا واضح ہے۔ جب ریٹریول غیر متعلقہ مواد فراہم کرتا ہے، تو اسسٹنٹ اب پراعتماد مگر غلط جواب کے ذریعے غلطی کو چھپاتا نہیں ہے؛ بلکہ وہ کھلے عام غیر یقینی صورتحال کا اعتراف کرتا ہے۔

حاصلِ کلام: RAG اسسٹنٹس کے لیے، یہ یقینی بنانا کہ ہر دعوے کا سراغ حاصل کردہ ذریعے (source) تک لگایا جا سکے، صرف ریٹریول کے مرحلے کو بہتر بنانے کے مقابلے میں صارف کا اعتماد زیادہ پائیدار طریقے سے قائم کرتا ہے۔ گمشدہ حوالوں کو ایک واضح "مجھے نہیں معلوم" میں بدل کر، ڈویلپرز سسٹم کو جوابات گھڑنے کے بجائے اپنی حدود کا اعتراف کرنے کا موقع دیتے ہیں۔