ہم نے اپنے دس ایجنٹس کے AI فلیٹ پر $100 کی کریڈٹ لمیٹ مقرر کی اور اسی دن تھروٹل (throttle) کام کرنا شروع ہو گیا، جس نے حد بڑھانے تک ہر نئے ٹاسک کو روک دیا۔ یہ واقعہ ظاہر کرتا ہے کہ بجٹ کی خلاف ورزی ہوتے ہی کنٹرول لوپ فوری طور پر متحرک ہو گیا۔
AI فلیٹس کے لیے کریڈٹ لمیٹ کیوں ضروری ہے
ایک ہی سرور پر دس خود مختار ایجنٹس (autonomous agents) چلانے سے API کالز کا ایک مسلسل سلسلہ پیدا ہوتا ہے، جس میں سے ہر کال کے لیے استعمال شدہ ٹوکنز کے مطابق بلنگ کی جاتی ہے۔ روایتی لاگز (logs) یہ تو ریکارڈ کرتے ہیں کہ ایجنٹس نے کیا کیا—سوالات، جوابات، ٹائم اسٹیمپس—لیکن وہ اس بارے میں کچھ نہیں بتاتے کہ ان اقدامات پر کتنا خرچ آیا۔ جب ایک فلیٹ کا سائز بڑھتا ہے، تو وہ پوشیدہ بل تیزی سے بڑھ سکتا ہے، اور کسی کے نوٹس لینے سے پہلے ہی بجٹ ختم کر سکتا ہے۔
لاگز کو کھاتے (ledger) میں تبدیل کرنا
ہمارا پہلا قدم لاگز کو محض سادہ متن (plain text) سمجھنے کے بجائے انہیں ایک مالیاتی کھاتے (financial ledger) کے طور پر دیکھنا تھا۔ ہر ایجنٹ سائیکل—task → taking → done—اب تین جریدہ اندراجات (journal entries) پیدا کرتا ہے:
- Money – ایک تخمینی USD قیمت جو درخواست کے ٹوکن کاؤنٹ سے اخذ کی جاتی ہے۔
- Promises – کھلے ہوئے ٹاسک جو ایک واجب الادا ذمہ داری (standing liability) کی نمائندگی کرتے ہیں، یعنی وہ کام جس کا بل مکمل ہونے پر آئے گا۔
- Labour – وہ اصل کام کے یونٹس جو ایجنٹ نے انجام دیے۔
اب ہم لاگ فائل میں "error" تلاش کرنے کے بجائے ایک حقیقی مالیاتی سوال (financial query) چلا سکتے ہیں: "وہ تمام promises دکھائیں جن کی کل رقم $100 سے زیادہ ہے۔" یہ کھاتہ پوشیدہ اخراجات کو واضح اور قابلِ تلاش بنا دیتا ہے۔
کلوزڈ لوپ کنٹرول سسٹم
کریڈٹ لمیٹ کا طریقہ کار ایک چار مرحلہ وار لوپ پر مشتمل ہے جو مسلسل چلتا رہتا ہے:
- Measure – ہر ایجنٹ کے مرحلے کے بعد خرچ کے لاگ میں ایک لائن شامل ہو جاتی ہے، جس میں ٹوکن کے استعمال اور اخذ شدہ ڈالر کی رقم ریکارڈ ہوتی ہے۔
- Price – سسٹم موجودہ ریٹ کا استعمال کرتے ہوئے ٹوکنز کی تعداد کو USD میں تبدیل کرتا ہے۔
- Alert – ایک مانیٹر جاری بجٹ پر نظر رکھتا ہے۔ اس کی حالت none (کوئی وارننگ نہیں) سے warn (حد کے قریب) اور پھر cap (حد تک پہنچ جانا) میں تبدیل ہوتی رہتی ہے۔
- Throttle – گیٹ موجودہ حالت کو دیکھتا ہے اور جب 'cap' فعال ہو تو کسی بھی نئے ٹاسک کی روانگی کو روک دیتا ہے۔
بجٹ ونڈو پانچ گھنٹے کا ایک رولنگ دورانیہ (rolling period) ہے، جس کا مطلب ہے کہ سسٹم ہمیشہ اخراجات کے تازہ ترین پانچ گھنٹوں کو دیکھتا ہے، نہ کہ کسی مقررہ کیلنڈر بلاک کو۔ یہ لوپ کو سرگرمیوں کے اچانک بڑھنے (bursts of activity) پر فوری ردعمل دینے کے قابل رکھتا ہے اور کسی ایک اچانک اضافے کو فلیٹ کو غیر معینہ مدت کے لیے روکنے سے بچاتا ہے۔
ایک ایسا ڈیش بورڈ جو صرف اخراجات دکھاتا ہے وہ ایک کہانی سناتا ہے؛ لیکن وہ تھروٹل جو اس نمبر کو پڑھتا ہے اور ٹاسک کی روانگی روک دیتا ہے، اصل کنٹرول ہے۔
ڈیزائن کے لحاظ سے لچکدار (Resilience by design)
ایک ایسا خرچ کنٹرول سسٹم جو خود ناکامی کا باعث (single point of failure) بن جائے، وہ الٹا نقصان دہ ہوگا۔ ہم نے تین حفاظتی اقدامات کیے ہیں:
- Fails open – اگر بجٹ ٹول کریش ہو جائے، تو ایجنٹس کام جاری رکھیں گے۔ خرچ چیک نہیں ہو سکے گا، لیکن فلیٹ آپریشنل رہے گا۔
- Manual bypass – آپریٹرز ایک ترجیحی چینل کے ذریعے تھروٹل کو نظر انداز (override) کر سکتے ہیں، تاکہ اہم کاموں کو حد پہنچنے کے باوجود جاری رکھا جا سکے۔
- Auto-resume – جیسے جیسے رولنگ ونڈو آگے بڑھتی ہے، پرانے اخراجات حساب کتاب سے نکل جاتے ہیں۔ جیسے ہی کل رقم حد سے نیچے آتی ہے، گیٹ انسانی مداخلت کے بغیر خود بخود کھل جاتا ہے۔
ٹیسٹ: $100 کی لمیٹ بمقابلہ $156 کے موجودہ اخراجات
ہم نے سسٹم کو $100 کی لمیٹ کے ساتھ لانچ کیا جبکہ فلیٹ کی حالیہ سرگرمیوں کے اخراجات پہلے ہی $156 ہو چکے تھے۔ تھروٹل فوری طور پر متحرک ہوا اور تمام نئے ٹاسک روک دیے۔ جب ہم نے حد بڑھا کر $200 کر دی، تو گیٹ کھل گیا اور مزید کسی دستی قدم کے بغیر کام دوبارہ شروع ہو گیا۔
اس تجربے نے دو چیزوں کی تصدیق کی:
- کنٹرول لوپ ریئل ٹائم میں ردعمل دیتا ہے؛ خلاف ورزی کی نشاندہی اور اس کے نفاذ کے درمیان کوئی وقفہ نہیں ہوتا۔
- آپریٹرز ضرورت کے مطابق لیمٹس کو تبدیل کر سکتے ہیں، جس سے کم ترجیح والے کاموں کے لیے غیر ضروری ڈاؤن ٹائم سے بچا جا سکتا ہے۔
خلاصہ (Takeaway): ایجنٹ لاگز کو مالیاتی کھاتے کے طور پر دیکھنا اور ڈسپچ پائپ لائن میں رولنگ بجٹ تھروٹل کو شامل کرنا، آپ کو ضرورت سے زیادہ خرچ کے خلاف فوری اور قابلِ نفاذ تحفظ فراہم کرتا ہے۔ یہ ایک سستا اور لچکدار کنٹرول ہے جو آج کام کرتا ہے؛ زیادہ پیچیدہ پالیسیاں بعد میں شامل کی جا سکتی ہیں، لیکن بنیادی لوپ کو کسی بھی AI ایجنٹ فلیٹ کے لیے دفاع کی پہلی لائن ہونا چاہیے۔