ہر کوئی پرامپٹس کے بارے میں بات کرتا ہے۔ لوپ وہ جگہ ہے جہاں ایجنٹس اصل میں ناکام ہوتے ہیں۔
پرامپٹ انجینئرنگ (Prompt engineering) کو تمام تر توجہ ملتی ہے۔ لوگ پرامپٹس شیئر کرتے ہیں اور خود کو ذہین سمجھتے ہیں۔ لیکن جن ایجنٹک سسٹمز (agentic systems) کو میں بناتا ہوں، وہاں پرامپٹس نہیں ٹوٹتے، بلکہ لوپ (loop) ٹوٹ جاتا ہے۔
ایک ایجنٹ محض ایک پرامپٹ اور اس کے جواب کا مجموعہ نہیں ہے۔ یہ ایک لوپ ہے۔
- حالت کا مشاہدہ کریں۔
- ایکشن لیں۔
- نتیجے کا جائزہ لیں۔
- جاری رکھنے یا رکنے کا فیصلہ کریں۔
اگر ان میں سے کوئی بھی مرحلہ ناکام ہو جائے، تو ایجنٹ ناکام ہو جاتا ہے۔ میں نے اس کا مطالعہ کرنے کے لیے 1,412 رنز (runs) میں 12 ماڈلز کا تجزیہ کیا۔ یہاں بتایا گیا ہے کہ لوپس کیسے ناکام ہوتے ہیں اور انہیں کیسے ٹھیک کیا جائے۔
لوپ کی عام ناکامیاں:
- ٹوکن اسپائرلز (Token Spirals): ایجنٹ اپنی بات دہراتا رہتا ہے اور بہت زیادہ ٹوکنز استعمال کرتا ہے۔
- بلائنڈ اسپاٹس (Blind Spots): ایجنٹ اپنے ماحول کو نہیں دیکھ پاتا اور وہی غلطی بار بار دہراتا ہے۔
- غلط کامیابی (False Success): ایجنٹ غلط جواب دیتا ہے لیکن اسے لگتا ہے کہ وہ صحیح ہے۔
- ڈیڈ اینڈز (Dead Ends): ایجنٹ کو غلطی کا پتہ چل جاتا ہے لیکن وہ اس ڈیٹا کو بہتری کے لیے استعمال نہیں کر پاتا۔
ایک بہتر پرامپٹ ان مسائل کو حل نہیں کر سکتا۔ آپ کو لوپ انجینئرنگ (loop engineering) کی ضرورت ہے۔
بہتر لوپس کے لیے چار ڈیزائن کے اصول:
- لوپ کو محدود کریں: تکرار (iterations) اور ٹوکنز پر ایک سخت حد مقرر کریں۔ اگر ایجنٹ اپنی حد تک پہنچ جائے، تو اسے رک جانا چاہیے اور مدد مانگنی چاہیے۔
- ماحول کو واضح بنائیں: اس بات کو یقینی بنائیں کہ مشاہدے (observe) کے مرحلے میں ایجنٹ کو تمام حقائق ملیں۔ اگر کوئی ایجنٹ ناکام ایکشن کو دہراتا ہے، تو اس کا مطلب ہے کہ اس کے پاس صحیح معلومات کی کمی ہے۔
- اداکار (actor) کو جائزہ لینے والے (evaluator) سے الگ رکھیں: ایک ہی ماڈل کو اپنا کام خود چیک کرنے نہ دیں۔ آؤٹ پٹ کا فیصلہ کرنے کے لیے کسی دوسرے ماڈل یا رول بیسڈ (rule-based) چیک کا استعمال کریں۔
- لوپ کو مکمل کریں: اصل اصلاح کے لیے غلطیوں کا استعمال کریں۔ جب کوئی لوپ ناکام ہو، تو ایک ریگریشن ٹیسٹ (regression test) شامل کریں تاکہ یہ دوبارہ کبھی نہ ہو۔
میں نے ان اصولوں کو استعمال کرتے ہوئے RelayOps نامی ایک سپورٹ ایجنٹ بنایا۔ ہم نے ایجنٹ کی درجہ بندی کے لیے ایک آزاد جج (independent judge) کا استعمال کیا۔
ایک بار، ایجنٹ نے صحیح آرٹیکل کا حوالہ تو دیا لیکن اصل سوال کا جواب دینے میں ناکام رہا۔ ایک سادہ رول بیسڈ چیک نے اسے درست قرار دے دیا۔ لیکن ہمارے آزاد ایویلیوایٹر (evaluator) نے اسے پکڑ لیا۔ ہم نے اس ناکامی کو سسٹم کو ٹھیک کرنے کے لیے استعمال کیا اور اسے دوبارہ ہونے سے روکنے کے لیے ایک ٹیسٹ شامل کیا۔
ایجنٹ کو زیادہ ذہین ہونے کی ضرورت نہیں تھی۔ لوپ کو بہتر طریقے سے ڈیزائن کرنے کی ضرورت تھی۔
صرف پرامپٹس پر توجہ دینا چھوڑ دیں۔ ڈھانچے (structure) پر توجہ دیں۔
آپ نے لوپ کی کون سی ناکامی دیکھی ہے؟ ٹوکن اسپائرل، بلائنڈ اسپاٹ، یا کوئی ایسا ایجنٹ جو پورے اعتماد کے ساتھ غلط تھا؟
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi