𝗔𝗜 𝗔𝗴𝗲𝗻𝘁 𝗦𝗰𝗼𝗽𝗲𝘀 𝗔𝗻𝗱 𝗧𝗼𝗼𝗹 𝗟𝗶𝗳𝗲𝗰𝘆𝗰𝗹𝗲𝘀
AI ایجنٹس بنانا مشکل ہے کیونکہ آپ انہیں آسانی سے کنٹرول نہیں کر سکتے۔ آپ کو اخراجات کو محدود کرنے کی ضرورت ہے۔ آپ کو بے قابو لوپس (runaway loops) کو روکنے کی ضرورت ہے۔ آپ کو یہ دیکھنے کی ضرورت ہے کہ جب کوئی رن (run) فیل ہو جائے تو اصل میں کیا ہوا تھا۔
میں نے اس سے نمٹنے کا ایک نیا طریقہ بنایا ہے۔ یہ AgentScope کے ساتھ runAgent نامی ایک ایجنٹ پرائمٹیو (agent primitive) استعمال کرتا ہے۔ اس میں بجٹ، ری پلے ایونٹس (replayable events)، اور منظم کینسلشن (structured cancellation) شامل ہیں۔
یہ اس طرح کام کرتا ہے:
- ٹول فنکشنز سادہ async فنکشنز ہیں۔ کسی پیچیدہ اسکیمہ (schema) کی ضرورت نہیں ہے۔
- ٹول کے واپس کرنے سے پہلے بجٹ چیک کیے جاتے ہیں۔ اگر آپ حد (limit) تک پہنچ جاتے ہیں، تو سسٹم پورے رن کو کینسل کر دیتا ہے۔
- ری ٹرائیز (retries) اور ٹائم آؤٹس ٹول کی سطح پر ہوتے ہیں۔
- کینسلشن منتقل ہوتی ہے۔ اگر کوئی صارف ایجنٹ کو روکتا ہے، تو سسٹم فوری طور پر فعال فیچ (fetch) یا ڈیٹا بیس کوئری کو منسوخ کر دیتا ہے۔
- آپ کو ایک ری پلے ایبل لاگ (replayable log) ملتا ہے۔ ہر ایونٹ ٹائپ شدہ اور ترتیب وار ہوتا ہے۔
آپ تین قسم کی حدیں (limits) مقرر کر سکتے ہیں:
- CostBudget: کل خرچ ہونے والے USD کو محدود کرتا ہے۔
- OpenAITokens: استعمال ہونے والے کل ٹوکنز کو محدود کرتا ہے۔
- AgentToolCalls: بے قابو لوپس کو روکنے کے لیے کل ٹول کالز کو محدود کرتا ہے۔
یہ طریقہ کار دوسرے فریم ورکس سے مختلف ہے۔ زیادہ تر فریم ورکس بھاری JSON اسکیمہ یا غیر واضح ٹائپنگ (loose typing) استعمال کرتے ہیں۔ ان میں اکثر فرسٹ کلاس بجٹ پرائمٹیوز (first-class budget primitives) کی کمی ہوتی ہے۔ ان کے پاس ایک ساتھ سب کچھ منسوخ کرنے کا کوئی متحد طریقہ نہیں ہوتا۔
اس سسٹم کے ساتھ، آپ کا ایجنٹ آپ کی ایپلی کیشن کے ساتھ ہی ایک ہی لائف سائیکل شیئر کرتا ہے۔ اگر پیرنٹ پروسیس رک جاتا ہے، تو ایجنٹ بھی رک جاتا ہے۔ اسے مینیج کرنے کے لیے کوئی دوسرا رن ٹائم (runtime) نہیں ہوتا۔
آپ ایونٹ لاگ کو ان کاموں کے لیے استعمال کر سکتے ہیں:
- فیلئیر ہیٹ میپس (failure heatmaps) کے لیے ڈیش بورڈز بنانا۔
- ٹیسٹ انوائرمنٹ میں کسی رن کو ری پلے کرنا۔
- ٹول کی کامیابی کے ایونٹس کو دیکھ کر درست چارجز کا آڈٹ کرنا۔
- دو مختلف رنز کا موازنہ کرنا تاکہ دیکھا جا سکے کہ وہ کہاں سے الگ ہوئے تھے۔
یہ AI ایجنٹس کو پروڈکشن کے لیے قابل پیشن گوئی اور محفوظ بناتا ہے۔
Source: https://github.com/WorkRuntime/workit
Optional learning community: https://t.me/GyaanSetuAi