একটি প্রোডাকশন LLM এজেন্টের মেমরি লগ ২ KB ফাইল থেকে বেড়ে ২৯,৪৪৬ বাইটে পৌঁছে গেছে, যার ফলে এজেন্ট প্রতি রান বা প্রতিটি চালনার সময় প্রায় ৫০০ থেকে ৭,৩৬০টি টোকেন পড়তে হচ্ছে — এটি একটি লুকানো খরচ যা মনিটরিং ড্যাশবোর্ডে কোনো সতর্কতা ছাড়াই দেখা দিয়েছে। এজেন্টের পেছনে থাকা ডেভেলপার জানিয়েছেন যে, রিড কস্ট বা পড়ার খরচের এই নিঃশব্দ বৃদ্ধি হলো "এজেন্ট কস্ট ড্রিফট" (agent cost drift)-এর একটি বাস্তব উদাহরণ, যা সিস্টেম স্বাভাবিকভাবে কাজ করছে বলে মনে হলেও বাজেট কমিয়ে দিতে পারে।
এজেন্ট কস্ট ড্রিফট (agent cost drift) কী?
এজেন্ট কস্ট ড্রিফট বলতে একটি AI এজেন্টের রুটিন অপারেশনের কম্পিউটেশনাল খরচ ধীরে ধীরে বৃদ্ধি পাওয়াকে বোঝায়, যা এজেন্টের নিজস্ব ক্রমবর্ধমান স্টেটের (state) কারণে ঘটে। উদাহরণস্বরূপ, এজেন্ট একটি ওয়ার্ক-লগ ফাইল বজায় রাখে যেখানে এটি কেন পূর্ববর্তী নিবন্ধের বিষয়গুলো প্রত্যাখ্যান করেছে তার কারণ রেকর্ড করা থাকে। প্রতিটি নতুন এন্ট্রি যুক্ত হওয়ার সাথে সাথে যুক্ত হয় যুক্তির একটি অনুচ্ছেদ, এবং এজেন্ট নতুন কন্টেন্ট তৈরি করার আগে পুরো ফাইলটি পড়ে ফেলে। যেহেতু লগটি দ্বিঘাত হারে (quadratically) বৃদ্ধি পায়—প্রতিটি এন্ট্রি কেবল তার নিজস্ব দৈর্ঘ্যই বাড়ায় না বরং পূর্ববর্তী এন্ট্রিগুলোর রেফারেন্সও দেয়—তাই এজেন্টের ইনজেস্ট বা গ্রহণ করতে হওয়া টেক্সটের পরিমাণ সময়ের সাথে সাথে দ্রুত বাড়তে থাকে।
এই ড্রিফট কোনো আকস্মিক বৃদ্ধি বা ব্যর্থতা নয়; এটি একটি রৈখিক কর (linear tax) যা চক্রবৃদ্ধি হারে বাড়ে। এজেন্ট এখনও দিনে দুটি নিবন্ধ তৈরি করছে এবং ড্যাশবোর্ডে কোনো ত্রুটি দেখাচ্ছে না, তবুও প্রতিটি রান এখন ৭,৩৬০টি টোকেন ব্যবহার করছে, যা এক মাস আগে ছিল প্রায় ৫০০। যেহেতু বেশিরভাগ LLM প্রোভাইডার প্রতি টোকেনের ভিত্তিতে চার্জ করে, তাই প্রতি রানে টোকেনের এই বৃদ্ধি সরাসরি পরিচালন ব্যয় বাড়িয়ে দেয়।
কেন এটি গুরুত্বপূর্ণ
- বাজেটের ওপর প্রভাব – টোকেন-ভিত্তিক মূল্যায়নের অর্থ হলো প্রতিটি অতিরিক্ত টোকেন পড়ার মানেই হলো বাড়তি খরচ। টোকেন সংখ্যা ৫০০ থেকে বেড়ে ৭,৩৬০ হয়েছে।
এর পেছনের লুকানো কৌশল
ফাইলের বৃদ্ধির ধরনটি এখানে মূল বিষয়। একটি লাইন-বাই-লাইন লগ যা কেবল নতুন এন্ট্রি যুক্ত করে তা রৈখিকভাবে বৃদ্ধি পাবে, কিন্তু যেহেতু প্রতিটি এন্ট্রি পূর্ববর্তী প্রত্যাখ্যানের পেছনের যুক্তি ব্যাখ্যা করে, তাই টেক্সটের দৈর্ঘ্য চক্রবৃদ্ধি হারে বাড়ে। এর ফলে একটি দ্বিঘাত প্রবৃদ্ধির কার্ভ (quadratic growth curve) তৈরি হয়: এন্ট্রির সংখ্যা দ্বিগুণ করলে ফাইলের আকার দ্বিগুণের চেয়েও বেশি বৃদ্ধি পায়, এবং এটি প্রসেস করার জন্য প্রয়োজনীয় টোকেন সংখ্যা আরও দ্রুত বৃদ্ধি পায়।
ডেভেলপাররা খুব কমই এই ক্রমবর্ধমান খরচ শনাক্ত করতে পারেন কারণ প্রতিটি এন্ট্রি "স্বয়ংসম্পূর্ণভাবে যুক্তিযুক্ত" মনে হয়। এজেন্টের আউটপুট সঠিক থাকে এবং লগটি তার উদ্দেশ্য পূরণ করতে থাকে, যা অদক্ষতাকে আড়াল করে রাখে।
প্রশমন কৌশল (Mitigation strategy)
ডেভেলপার লগটিকে তিনটি ভাগে পুনর্গঠন করার প্রস্তাব দিয়েছেন:
- সাম্প্রতিক এন্ট্রি ফাইল (Recent-entry file) – একটি ছোট, সক্রিয়ভাবে পড়া ফাইল রাখুন যাতে শুধুমাত্র সাম্প্রতিক কয়েকটি এন্ট্রি থাকে যা তাৎক্ষণিক পুনরাবৃত্তি এড়াতে প্রয়োজন।
- সংক্ষিপ্ত ইনডেক্স (Compact index) – পুরনো এন্ট্রিগুলোর জন্য এক লাইনের সারসংক্ষেপ সংরক্ষণ করুন। পুরো অনুচ্ছেদ না পড়েই বিষয়বস্তুর পুনরাবৃত্তি আছে কিনা তা দ্রুত পরীক্ষা করার জন্য এই ইনডেক্সটি স্ক্যান করা যেতে পারে।
- আর্কাইভ করা সম্পূর্ণ টেক্সট (Archived full text) – সম্পূর্ণ ঐতিহাসিক যুক্তিগুলো একটি আলাদা আর্কাইভ ফাইলে সরিয়ে ফেলুন যা এজেন্ট স্বাভাবিক অপারেশনের সময় পড়ে না।
এই পদ্ধতিটি এজেন্টের বিষয়বস্তুর পুনরাবৃত্তি এড়ানোর ক্ষমতা বজায় রাখে এবং একই সাথে প্রতি রানে টোকেন লোড নাটকীয়ভাবে কমিয়ে দেয়।
আপনার এজেন্টে কস্ট ড্রিফট কীভাবে শনাক্ত করবেন
১. টোকেন রিড ট্র্যাক করা (Instrument token reads) – প্রতিবার যখন এজেন্ট তার মেমরি ফাইল লোড করে, তখন কত টোকেন ব্যবহার করছে তা রেকর্ড করুন। ২. সময়ের সাথে পর্যবেক্ষণ করা (Track over time) – আজকের টোকেন সংখ্যার সাথে এক সপ্তাহ বা এক মাস আগের সংখ্যার তুলনা করুন। একটি স্থিতিশীল ঊর্ধ্বমুখী প্রবণতা ড্রিফটের সংকেত দেয়।
ফাইলটি কোনো ত্রুটি ছাড়াই লোড হচ্ছে কিনা তা যাচাই করা যথেষ্ট নয়; আপনাকে সেই লোড করার খরচ পরিমাপ করতে হবে।
পরবর্তীতে কী খেয়াল রাখবেন
এজেন্ট কস্ট ড্রিফট হলো একটি অদৃশ্য কর যা নিঃশব্দে আপনার AI বাজেট কমিয়ে দিতে পারে। এজেন্টের মেমরি ফাইলকে একটি 'কস্ট সেন্টার' হিসেবে বিবেচনা করে—টোকেন রিড পরিমাপ করা, প্রবৃদ্ধির কার্ভ পর্যবেক্ষণ করা এবং লগ পুনর্গঠন করার মাধ্যমে—আপনি এই খরচ নিয়ন্ত্রণে রাখতে পারেন এবং আউটপুট নিখুঁত রাখতে পারেন।
Join the discussion: https://t.me/GyaanSetuAi