ایک پروڈکشن LLM ایجنٹ کا میموری لاگ 2 KB کی فائل سے بڑھ کر 29,446 بائٹس تک پہنچ گیا، جس سے ایجنٹ کے پڑھنے والے ٹوکنز کی تعداد ایک بار چلنے (run) پر تقریباً 500 سے بڑھ کر 7,360 ہو گئی — یہ ایک چھپا ہوا خرچہ ہے جو مانیٹرنگ ڈیش بورڈ پر کسی الرٹ کے بغیر ظاہر ہوا۔ ایجنٹ کے پیچھے کام کرنے والے ڈویلپر کا کہنا ہے کہ پڑھنے کے اخراجات میں یہ خاموش اضافہ "agent cost drift" کی ایک ٹھوس مثال ہے، ایک ایسا مسئلہ جو بجٹ کو ختم کر سکتا ہے چاہے سسٹم معمول کے مطابق کام کرتا ہوا نظر آئے۔
Agent cost drift کیا ہے؟
Agent cost drift سے مراد ایک AI ایجنٹ کے معمول کے آپریشنز کے کمپیوٹیشنل اخراجات میں بتدریج اضافہ ہے، جو ایجنٹ کی اپنی بڑھتی ہوئی حالت (state) کی وجہ سے ہوتا ہے۔ مثال میں، ایجنٹ ایک ورک-لاگ فائل برقرار رکھتا ہے جو اس بات کا ریکارڈ رکھتی ہے کہ اس نے پچھلے آرٹیکل کے موضوعات کو کیوں مسترد کیا۔ ہر نئی انٹری دلیل کا ایک پیراگراف شامل کرتی ہے، اور ایجنٹ کے نیا مواد تیار کرنے سے پہلے پوری فائل پڑھی جاتی ہے۔ چونکہ لاگ کا پھیلاؤ کوڈریٹک (quadratically) طور پر ہوتا ہے—ہر انٹری نہ صرف اپنی لمبائی بڑھاتی ہے بلکہ پچھلی انٹریز کا حوالہ بھی دیتی ہے—اس لیے ایجنٹ کو جتنا متن پڑھنا پڑتا ہے اس کی مقدار وقت کے ساتھ تیزی سے بڑھتی جاتی ہے۔
یہ ڈرفٹ کوئی اچانک اضافہ یا ناکامی نہیں ہے؛ بلکہ یہ ایک ایسا لائنیئر ٹیکس ہے جو کمپاؤنڈ (compounds) ہوتا رہتا ہے۔ ایجنٹ اب بھی دن میں دو آرٹیکل تیار کرتا ہے، اور ڈیش بورڈ پر کوئی غلطی نظر نہیں آتی، پھر بھی اب ہر رن 7,360 ٹوکنز استعمال کرتا ہے، جو ایک ماہ قبل تقریباً 500 تھے۔ چونکہ زیادہ تر LLM فراہم کنندگان فی ٹوکن چارج کرتے ہیں، اس لیے فی رن ٹوکنز میں اضافہ براہ راست زیادہ آپریشنل اخراجات میں تبدیل ہو جاتا ہے۔
یہ کیوں اہم ہے
- بجٹ پر اثر – ٹوکن پر مبنی قیمتوں کا مطلب ہے کہ پڑھا جانے والا ہر اضافی ٹوکن خرچ شدہ رقم ہے۔ ٹوکن کی تعداد 500 سے بڑھ کر 7,360 ہو گئی۔
چھپی ہوئی میکانکس
فائل کے بڑھنے کا طریقہ کار کلیدی حیثیت رکھتا ہے۔ ایک لائن بہ لائن لاگ جو صرف نئی انٹریز شامل کرتا ہے، وہ لائنیئر طور پر بڑھے گا، لیکن چونکہ ہر انٹری پچھلی مسترد شدہ چیزوں کے پیچھے کی وجہ بتاتی ہے، اس لیے متن کی لمبائی کمپاؤنڈ ہوتی جاتی ہے۔ اس کا نتیجہ ایک کوڈریٹک گروتھ کرو (quadratic growth curve) کی صورت میں نکلتا ہے: انٹریز کی تعداد کو دوگنا کرنے سے فائل کا سائز دوگنا سے زیادہ بڑھ جاتا ہے، اور اسے پروسیس کرنے کے لیے درکار ٹوکنز کی تعداد اس سے بھی زیادہ تیزی سے بڑھتی ہے۔
ڈویلپرز کو بڑھتے ہوئے اخراجات کا پتہ بہت کم چلتا ہے کیونکہ ہر انٹری "اپنی جگہ درست معلوم ہوتی ہے"۔ ایجنٹ کا آؤٹ پٹ درست رہتا ہے، اور لاگ اپنا مقصد پورا کرتا رہتا ہے، جس سے عدم کارکردگی چھپ جاتی ہے۔
بچاؤ کی حکمت عملی (Mitigation strategy)
ڈویلپر لاگ کی تین حصوں میں دوبارہ تشکیل (restructuring) کی تجویز دیتا ہے:
- حالیہ انٹری فائل (Recent-entry file) – ایک چھوٹی، فعال طور پر پڑھی جانے والی فائل رکھیں جس میں صرف وہ چند تازہ ترین انٹریز ہوں جو فوری تکرار سے بچنے کے لیے ضروری ہوں۔
- کمپیکٹ انڈیکس (Compact index) – پرانی انٹریز کے لیے ایک لائن کا خلاصہ محفوظ کریں۔ انڈیکس کو موضوع کی تکرار چیک کرنے کے لیے مکمل پیراگراف نکالے بغیر تیزی سے اسکین کیا جا سکتا ہے۔
- آرکائیو شدہ مکمل متن (Archived full text) – مکمل تاریخی دلیل کو ایک الگ آرکائیو فائل میں منتقل کر دیں جسے ایجنٹ معمول کے آپریشن کے دوران نہ پڑھے۔
یہ طریقہ کار ایجنٹ کی موضوع کی تکرار سے بچنے کی صلاحیت کو برقرار رکھتا ہے جبکہ فی رن ٹوکن لوڈ کو ڈرامائی طور پر کم کر دیتا ہے۔
اپنے ایجنٹس میں cost drift کا پتہ کیسے لگائیں
- ٹوکن ریڈز کی پیمائش کریں (Instrument token reads) – ہر بار جب ایجنٹ اپنی میموری فائل لوڈ کرے، تو استعمال ہونے والے ٹوکنز کی تعداد ریکارڈ کریں۔
- وقت کے ساتھ ٹریک کریں – آج کی ٹوکن تعداد کا موازنہ ایک ہفتہ یا ایک ماہ قبل کی تعداد سے کریں۔ ایک مستقل اوپر کی طرف جانے والا رجحان ڈرفٹ کا اشارہ ہے۔
صرف یہ تصدیق کرنا کہ فائل اب بھی بغیر کسی غلطی کے لوڈ ہو رہی ہے، کافی نہیں ہے؛ آپ کو اس لوڈنگ کی لاگت کی پیمائش کرنی ہوگی۔
آگے کیا نظر رکھنا ہے
Agent cost drift ایک ایسا نظر نہ آنے والا ٹیکس ہے جو خاموشی سے آپ کے AI بجٹ کو ختم کر سکتا ہے۔ ایجنٹ کی میموری فائل کو ایک لاگت کے مرکز (cost center) کے طور پر دیکھ کر—ٹوکن ریڈز کی پیمائش کر کے، گروتھ کرو پر نظر رکھ کر، اور لاگز کی دوبارہ تشکیل کر کے—آپ اس ٹیکس کو کم اور آؤٹ پٹ کو بہتر رکھ سکتے ہیں۔
Join the discussion: https://t.me/GyaanSetuAi