ایجنٹک ریٹریول (Agentic retrieval) کو روایتی ریٹریول آگمینٹڈ جنریشن (RAG) پائپ لائنز کے بعد اگلے قدم کے طور پر پیش کیا جا رہا ہے، جو ایسے پروڈکشن AI سسٹمز کا وعدہ کرتا ہے جو ہالوسینیشن (hallucination) کو روک دیں گے اور معلومات حاصل کرنے کے طریقے کے بارے میں "سوچنا" شروع کر دیں گے۔ حامیوں کا کہنا ہے کہ یہ طریقہ کار بڑے دستاویزاتی مجموعوں (document collections) پر سوال کا جواب دینے کی لاگت کو پورے کائرس (corpus) کو ماڈل کے کانٹیکسٹ ونڈو (context window) میں ڈالنے کے مقابلے میں 82 گنا تک کم کر سکتا ہے، جو کہ جنریٹیو AI کو وسعت دینے والے کسی بھی کاروبار کے لیے ایک اہم بچت ہے۔

روایتی RAG پائپ لائن کیوں ناکام رہتی ہے

روایتی RAG ورک فلو ایک طے شدہ ترتیب پر مبنی ہے: دستاویزات کو ٹکڑوں (chunks) میں تقسیم کرنا، ہر ٹکڑے کو ایک ڈینس ویکٹر اسپیس (dense vector space) میں ایمبیڈ کرنا، اور پھر صارف کے سوال کے لیے اعلیٰ اسکور والے ویکٹرز نکالنا۔ ڈیمو میں یہ طریقہ کار منظم نظر آتا ہے—ماڈل کو چند "متعلقہ" اقتباسات ملتے ہیں اور وہ اعتماد کے ساتھ جواب دیتا ہے۔ تاہم، پروڈکشن میں، یہ اعتماد اکثر غلط ثابت ہوتا ہے۔

تین نظامی خامیاں اس مسئلے کا باعث بنتی ہیں:

  • ویکٹر سیمیلیرٹی ≠ مطابقت (relevance): دو اقتباسات ریاضیاتی طور پر ایک دوسرے کے قریب ہو سکتے ہیں جبکہ وہ متضاد حقائق بیان کر رہے ہوں، جس سے ماڈل غلط دعوے کا حوالہ دے سکتا ہے۔
  • ٹکڑوں میں تقسیم (Fragmentation) حقائق کو توڑ دیتی ہے: فکسڈ چنکنگ (fixed chunking) معمول کے مطابق ایک ہی بیان کو دو حصوں میں تقسیم کر دیتی ہے۔ اگر ماڈل کو صرف ایک حصہ ملے، تو وہ گمشدہ حصے کو دوبارہ ترتیب نہیں دے سکتا۔
  • الجھے ہوئے سوالات: حقیقی دنیا کے سوالات زیادہ تر ایمبیڈنگ ماڈلز کے ٹریننگ ڈیٹا سے مختلف ہوتے ہیں، اس لیے سیمیلیرٹی سرچ غیر متعلقہ ٹکڑے واپس لاتی ہے۔

جب پائپ لائن غلط کانٹیکسٹ واپس کرتی ہے، تو ڈاؤن اسٹریم لینگویج ماڈل پھر بھی جواب پیدا کرتا ہے، جو اکثر بہت زیادہ یقین کے ساتھ ہوتا ہے، اور سسٹم کوئی غلطی (error) ظاہر نہیں کرتا۔ اس کا نتیجہ "خاموش ہالوسینیشن" (silent hallucination) کی صورت میں نکلتا ہے—ایک ایسی خاموش ناکامی جسے لائیو سروس میں پکڑنا مشکل ہوتا ہے۔

ہائبرڈ ریٹریول: ایک بتدریج حل

ایک عام ردعمل ڈینس ویکٹرز کے اوپر کی ورڈ سرچ (keyword search) کی تہہ چڑھانا ہے، جس سے ایک ہائبرڈ ریٹریور (hybrid retriever) بنتا ہے جو ان درست الفاظ کے ملاپ کو پکڑ سکتا ہے جو ایمبیڈنگز سے مس ہو جاتے ہیں۔ ایک ری رینکر (reranker) شامل کرنا—جو کہ دوسرا ماڈل ہے جو سیکھے ہوئے مطابقت کے اسکور کی بنیاد پر حاصل کردہ فہرست کو دوبارہ ترتیب دیتا ہے—درستگی (precision) کو مزید بہتر بناتا ہے۔

ہائبرڈ ریٹریول اب بھی ایک جامد اسکرپٹ پر عمل کرتا ہے: ہر سوال، مشکل یا غیر یقینی صورتحال کے قطع نظر، عمل کے ایک ہی سلسلے کو متحرک کرتا ہے۔ پائپ لائن یہ فیصلہ نہیں کر سکتی کہ اسے مزید ڈیٹا کی ضرورت ہے یا نہیں، ایک پیچیدہ سوال کو ذیلی سوالات میں کیسے تقسیم کیا جائے، یا کب حاصل کردہ اقتباس ناکافی ہے۔

ایجنٹک ریٹریول سرچ کو ایک فیصلہ سازی کے عمل کے طور پر دیکھتا ہے

ایجنٹک ریٹریول اس مسئلے کو ایک خود مختار "ایجنٹ" کے ذریعے کیے جانے والے فیصلوں کے سلسلے کے طور پر دوبارہ ترتیب دیتا ہے جو ایک انسانی محقق کی نقل کرتا ہے۔ ایجنٹ یہ کر سکتا ہے:

  • سوال کو دوبارہ لکھنا: یہ تلاش کرنے سے پہلے عام یا مبہم الفاظ کو نارملائز کرتا ہے، جس سے اس بات کے امکانات بڑھ جاتے ہیں کہ ریٹریول ماڈلز مقصد کو سمجھ سکیں۔
  • یہ پوچھنا کہ کیا ریٹریول کی ضرورت ہے: سیدھے سادے سوالات کے لیے ایجنٹ براہ راست جواب دیتا ہے، جس سے ٹوکنز کی بچت ہوتی ہے اور غیر ضروری شور (noise) سے بچا جا سکتا ہے۔
  • کثیر مرحلہ وار سرچ کا منصوبہ بنانا: پیچیدہ سوالات کو چھوٹے ذیلی سوالات میں تقسیم کیا جاتا ہے، جن میں سے ہر ایک پر آزادانہ طور پر سرچ کی جاتی ہے، اور پھر انہیں دوبارہ جوڑ دیا جاتا ہے۔
  • خود اصلاح (Self-correct): اگر ابتدائی نتیجہ کمزور نظر آئے—مثلاً کم اعتماد کے اسکور یا متضاد شواہد—تو ایجنٹ مختلف فارمولیشن کے ساتھ سوال دوبارہ پیش کرتا ہے یا سرچ کا دائرہ وسیع کر دیتا ہے۔

لاگت کے حوالے سے بحث: لانگ کانٹیکسٹ بمقابلہ ریٹریول

کچھ مبصرین کا کہنا ہے کہ بڑھتے ہوئے کانٹیکسٹ ونڈوز ریٹریول کو غیر ضروری بنا رہے ہیں۔ اس کا جواب عملی ہے: ایک ماڈل کے کانٹیکسٹ میں ایک بہت بڑا کائرس ڈالنے کی لاگت ایک مرکوز (focused) ریٹریول کے مقابلے میں کئی گنا زیادہ ہے۔ اندازے بتاتے ہیں کہ بڑے ڈیٹا سیٹس کے لیے ریٹریول 8 سے 82 گنا سستا ہے، جبکہ یہ درست جوابات کے لیے ضروری کانٹیکسٹ کی بنیاد بھی فراہم کرتا ہے۔ لانگ کانٹیکسٹ ونڈوز دستاویزات کے ایک چھوٹے اور منتخب مجموعے پر باریک بینی سے استدلال کے لیے مفید رہتی ہیں، لیکن وہ پیمانے کے مطابق سرچ (scalable search) کا متبادل نہیں ہو سکتیں۔

شفافیت اور تصدیق

پروڈکشن گریڈ AI اسسٹنٹ کو اپنے ذرائع ظاہر کرنے چاہئیں۔ ایجنٹک ریٹریول ہر دعوے کے ساتھ ایک حوالہ (citation) منسلک کر سکتا ہے، جس سے انسانی جائزہ لینے والا حقیقت کی جانچ کے عمل کی تصدیق کر سکتا ہے۔ یہ "اپنا کام دکھائیں" (show-your-work) والا طریقہ اعتماد پیدا کرتا ہے اور ریٹریول کے ان کمزور راستوں کو سامنے لاتا ہے جن سے ایجنٹ مستقبل کے تعاملات میں بچنا سیکھ سکتا ہے۔

آگے کیا دیکھنا ہے

  • ٹولنگ (Tooling)۔
  • تشخیصی معیار (Evaluation standards)۔
  • انٹرپرائز پائلٹس (Enterprise pilots)۔

خلاصہ

ایجنٹک ریٹریول ان جامد اور غلطی کے قابل RAG پائپ لائنز سے آگے نکل جاتا ہے جو بہت سے ڈیموز پر حاوی ہیں۔ AI سسٹم کو یہ فیصلہ کرنے دے کر کہ کب اور کیسے سرچ کرنا ہے، یہ ٹوکن کے استعمال کو کم کرتا ہے، لاگت میں نمایاں کمی لاتا ہے، اور—سب سے اہم بات یہ کہ—ہر جواب کے لیے قابل تصدیق ذرائع فراہم کرتا ہے۔