آپ کا LLM سے چلنے والا ایجنٹ ڈیمو میں تو بالکل ٹھیک کام کر سکتا ہے، لیکن چند ہی بار استعمال کے بعد اس کی رفتار سست ہو سکتی ہے اور اس کا بل بڑھ سکتا ہے۔ اس کا اصل ذمہ دار کوئی کمزور ماڈل نہیں ہے—بلکہ یہ ٹیکن ڈرفٹ (token drift) ہے، یعنی پرامپٹ کا وہ بتدریج بڑھتا ہوا حجم جسے ماڈل کو ہر بار پروسیس کرنا پڑتا ہے۔

ٹیکن ڈرفٹ تب ہوتا ہے جب ہر بات چیت ماڈل کے ان پٹ سیاق و سباق (input context) میں مزید متن کا اضافہ کر دیتی ہے۔ گفتگو کی ہسٹری، ٹول اسکیمائیں (tool schemas)، API کے جوابات، اور تلاش کیے گئے دستاویزات سب جمع ہوتے رہتے ہیں، جس کی وجہ سے ہر اگلی کال میں ڈیٹا کا حجم بڑھ جاتا ہے۔ چونکہ ان پٹ ٹوکنز کی تعداد کے ساتھ ماڈل کا پروسیسنگ وقت اور قیمت بڑھتی ہے، اس لیے لاگت خطی (linearly) کے بجائے کواڈریٹک (quadratically) طور پر بڑھتی ہے۔

یہ مسئلہ ڈیمو کے بجائے پروڈکشن میں کیوں ظاہر ہوتا ہے

حقیقی استعمال (real deployments) میں ہر چیز محفوظ کی جاتی ہے: صارف کا ہر جملہ، ہر ٹول کا آؤٹ پٹ، اور تلاش کی گئی معلومات کا ہر حصہ۔ یہ سب کچھ تب تک چھپا رہتا ہے جب تک کہ لیٹنسی (latency) میں اضافہ نہ ہو جائے اور بل سامنے نہ آ جائے۔

ٹیکن ڈرفٹ کے عام ذرائع

  • بار بار دہرائے جانے والے ٹرانسکرپٹس – پرانے پیغامات کا خلاصہ کرنے یا انہیں ہٹانے کے بجائے انہیں پرامپٹ میں ہی رکھنا۔
  • بھاری ٹول اسکیمائیں – ہر بار ٹول کی صلاحیتوں کی بڑی JSON تعریفیں بھیجنا۔
  • ٹول کے بھاری نتائج – مکمل API جوابات یا ڈیٹا بیس کی ایسی قطاریں شامل کرنا جن میں ایجنٹ کی ضرورت سے زیادہ ڈیٹا ہو۔
  • RAG کا بڑھتا ہوا حجم – Retrieval-augmented generation (RAG) کے ذریعے بہت سے دستاویزاتی حصے شامل کرنا، جن میں سے کچھ پرانے یا غیر متعلقہ ہو سکتے ہیں۔
  • تکرار شدہ میموری – خلاصہ، اسٹیٹ آبجیکٹ (state object)، اور اصل ٹرانسکرپٹ کو ایک ساتھ رکھنا، جس سے ایک ہی معلومات تین بار دہرائی جاتی ہے۔

ان میں سے ہر چیز ایسے ٹوکنز کا اضافہ کرتی ہے جو سوچنے سمجھنے کی نئی صلاحیت (reasoning power) فراہم نہیں کرتے، لیکن پرامپٹ کے حجم کو بڑھا دیتے ہیں۔

ٹوکن بجٹ کو کنٹرول میں کیسے رکھیں

1. تہوں پر مشتمل سیاق و سباق کا ڈیزائن اپنائیں

  • مستحکم ہدایات – سسٹم پرامپٹس اور حفاظتی قوانین کو سب سے اوپر رکھیں اور انہیں ہر بار دوبارہ بھیجنے کے بجائے صرف ان کا حوالہ دیں۔
  • منظم اسٹیٹ (Structured state) – اہداف، فیصلوں اور شناختی نمبروں (identifiers) کی ایک مختصر شکل محفوظ کریں جسے ایجنٹ تیزی سے پڑھ سکے۔
  • مختصر شدہ ہسٹری – پرانی گفتگو کو ایک مختصر اور پڑھنے کے قابل پیراگراف میں خلاصہ کریں، اور اسے صرف تب اپ ڈیٹ کریں جب ایک خاص حد (threshold) تک پہنچ جائے۔
  • حالیہ گفتگو – تسلسل برقرار رکھنے کے لیے آخری چند پیغامات کو بالکل ویسے ہی شامل کریں۔

مستقل متن کو خلاصہ کیے جانے والے مواد سے الگ کرنے سے آپ ایک ہی الفاظ کو بار بار بھیجنے سے بچ جاتے ہیں۔

2. ٹول کے آؤٹ پٹ کو کم کریں

  • صرف وہی فیلڈز نکالیں جن کا ایجنٹ واقعی استعمال کرتا ہے؛ طویل تفصیلات کو حذف کر دیں۔
  • بڑے نتائج کو ایک مختصر خلاصے یا ریفرنس آئی ڈی (reference ID) سے بدل دیں، اور مکمل ڈیٹا کو ڈیٹا بیس، کیش (cache)، یا بلوب اسٹور (blob store) میں محفوظ کریں۔
  • جب کوئی ٹول فہرست واپس کرے، تو صرف وہ چند اہم ترین (top-N) آئٹمز بھیجیں جو موجودہ فیصلے کے لیے ضروری ہوں۔

3. ذہین خلاصہ کاری (Smart summarization) کا استعمال کریں

  • ہر بار خلاصہ کرنے سے گریز کریں؛ اضافی پروسیسنگ سے بوجھ بڑھتا ہے۔
  • خلاصے کو صرف تب تازہ کریں جب پرانی گفتگو کے ٹوکنز کی مجموعی تعداد پہلے سے طے شدہ حد سے تجاوز کر جائے۔
  • اہم حقائق—جیسے آئی ڈیز، رقم، اور ٹائم اسٹیمپ—کو نثر میں شامل کرنے کے بجائے ایک منظم اسٹور میں رکھیں، تاکہ خلاصہ مختصر رہے۔

4. درست میٹرکس (Metrics) پر نظر رکھیں

  • ٹوکن کے استعمال کو صرف صارف کی درخواست کے بجائے ہر ماڈل کال کے حساب سے ریکارڈ کریں۔ اس سے ان پٹ کی جانب ہونے والی چھپی ہوئی اضافہ معلوم ہوتا ہے۔
  • ہر بار شامل ہونے والے ان پٹ ٹوکنز کی تعداد پر نظر رکھیں؛ اچانک اضافہ ڈرفٹ کے ذریعے (drift source) کی نشاندہی کرتا ہے۔
  • کیش شدہ ٹوکنز (پچھلی کالز سے دوبارہ استعمال شدہ) کو نئے تیار کردہ ٹوکنز سے الگ کریں؛ صرف پہلے والے ٹوکنز ڈرفٹ کا باعث بنتے ہیں۔

پرامپٹ کو ایک محدود وسائل کے طور پر لیں، نہ کہ ایک لامتناہی ٹرانسکرپٹ کے طور پر۔ جان بوجھ کر پیمائش، خلاصہ کاری اور کٹوتی کے ذریعے، آپ اپنے LLM ایجنٹ کو تیز، سستا اور پروڈکشن کے پیمانے کے لیے تیار رکھتے ہیں۔

حاصلِ کلام: ٹیکن ڈرفٹ خاموشی سے اخراجات بڑھاتا ہے اور ایجنٹس کی رفتار کم کرتا ہے۔ اپنے پرامپٹ کے بڑھتے ہوئے حصوں کی نشاندہی کریں، انہیں کمپریس کریں یا بیرونی طور پر محفوظ کریں، اور ہر کال پر ٹوکن کے استعمال پر نظر رکھیں۔ ایک منظم طریقہ کار غیر متوقع بل کے جھٹکوں کو ایک قابلِ انتظام اور بجٹ کے مطابق آپریشن میں بدل دیتا ہے۔