আমরা আমাদের দশটি এজেন্টের AI ফ্লিটের (fleet) জন্য ১০০ ডলারের একটি ক্রেডিট লিমিট সেট করেছিলাম এবং সেই দিনই থ্রটল (throttle) কার্যকর হয়ে যায়, যা আমরা সীমা না বাড়ানো পর্যন্ত প্রতিটি নতুন কাজ থামিয়ে দিয়েছিল। এই ঘটনাটি প্রমাণ করে যে বাজেট অতিক্রম করার সাথে সাথেই কন্ট্রোল লুপটি তাৎক্ষণিকভাবে সক্রিয় হয়ে উঠেছিল।
AI ফ্লিটের জন্য কেন একটি ক্রেডিট লিমিট গুরুত্বপূর্ণ
একটি মাত্র সার্ভারে দশটি স্বায়ত্তশাসিত এজেন্ট (autonomous agents) চালানো মানে হলো API কলের একটি অবিরাম প্রবাহ তৈরি করা, যার প্রতিটি কল তাদের ব্যবহৃত টোকেনের ভিত্তিতে বিল করা হয়। প্রথাগত লগগুলো এজেন্টরা কী করেছে—কুয়েরি, রেসপন্স, টাইমস্ট্যাম্প—তা রেকর্ড করে, কিন্তু সেই কাজগুলোর খরচ কত তা বলে না। যখন একটি ফ্লিট বড় হতে থাকে, তখন সেই অদৃশ্য বিলটি বিশাল আকার ধারণ করতে পারে এবং কেউ কিছু বোঝার আগেই বাজেট শেষ করে দিতে পারে।
লগগুলোকে একটি লেজার (ledger) হিসেবে রূপান্তর করা
আমাদের প্রথম পদক্ষেপ ছিল লগগুলোকে সাধারণ টেক্সট হিসেবে দেখা বন্ধ করা এবং সেগুলোকে একটি আর্থিক লেজার হিসেবে বিবেচনা করা শুরু করা। প্রতিটি এজেন্ট সাইকেল—task → taking → done—এখন তিনটি জার্নাল এন্ট্রি তৈরি করে:
- Money – রিকোয়েস্টের টোকেন সংখ্যা থেকে প্রাপ্ত একটি আনুমানিক USD মান।
- Promises – খোলা কাজ বা ওপেন টাস্ক যা একটি চলমান দায়বদ্ধতা (liability) নির্দেশ করে, অর্থাৎ সেই কাজগুলো সম্পন্ন হওয়ার পর বিল করা হবে।
- Labour – এজেন্ট দ্বারা সম্পন্ন করা প্রকৃত কাজের ইউনিট।
লগ ফাইলের মধ্যে “error” খোঁজার পরিবর্তে, আমরা এখন একটি প্রকৃত আর্থিক কুয়েরি চালাতে পারি: “এমন সব প্রমিজ (promises) দেখাও যার মোট টাকার পরিমাণ ১০০ ডলারের বেশি।” এই লেজারটি লুকানো খরচকে দৃশ্যমান এবং অনুসন্ধানযোগ্য করে তোলে।
ক্লোজড-লুপ কন্ট্রোল সিস্টেম
ক্রেডিট-লিমিট মেকানিজমটি একটি চার-ধাপের লুপ অনুসরণ করে যা নিরবচ্ছিন্নভাবে চলে:
- Measure – প্রতিটি এজেন্ট টার্ন একটি স্পেন্ড লগে একটি লাইন যোগ করে, যেখানে টোকেন ব্যবহার এবং প্রাপ্ত ডলারের পরিমাণ রেকর্ড করা হয়।
- Price – সিস্টেমটি বর্তমান রেট ব্যবহার করে টোকেন সংখ্যাকে USD-তে রূপান্তর করে।
- Alert – একটি মনিটর রোলিং বাজেট পর্যবেক্ষণ করে। এর অবস্থা none (কোনো সতর্কতা নেই) থেকে warn (সীমার কাছাকাছি) এবং তারপর cap (সীমা অতিক্রম) এ পরিবর্তিত হয়।
- Throttle – গেটটি বর্তমান অবস্থা পড়ে এবং যখন 'cap' সক্রিয় থাকে তখন যেকোনো নতুন টাস্ক পাঠানো ব্লক করে দেয়।
বাজেট উইন্ডোটি হলো একটি রোলিং পাঁচ-ঘণ্টার সময়সীমা, যার অর্থ হলো সিস্টেমটি সবসময় সাম্প্রতিক পাঁচ ঘণ্টার খরচের দিকে নজর রাখে, কোনো নির্দিষ্ট ক্যালেন্ডার ব্লকের দিকে নয়। এটি কাজের হঠাৎ বৃদ্ধি বা 'bursts of activity'-র প্রতি লুপটিকে সাড়াদানকারী রাখে এবং একটি মাত্র বড় খরচ যেন ফ্লিটটিকে অনির্দিষ্টকালের জন্য লক করে না ফেলে তা নিশ্চিত করে।
একটি ড্যাশবোর্ড যা কেবল খরচ প্রদর্শন করে তা একটি গল্প বলে; কিন্তু সেই সংখ্যাটি পড়ে এবং টাস্ক পাঠানো বন্ধ করে দেয় এমন থ্রটলটিই হলো আসল নিয়ন্ত্রণ।
ডিজাইনগত স্থিতিস্থাপকতা (Resilience by design)
একটি খরচ-নিয়ন্ত্রণ ব্যবস্থা যদি 'সিঙ্গেল পয়েন্ট অফ ফেইলিউর' (single point of failure) হয়ে দাঁড়ায়, তবে তা হিতে বিপরীত হবে। আমরা তিনটি সুরক্ষা ব্যবস্থা তৈরি করেছি:
- Fails open – যদি বাজেট টুলটি ক্র্যাশ করে, তবে এজেন্টরা কাজ চালিয়ে যাবে। খরচ হয়তো যাচাই করা হবে না, কিন্তু ফ্লিটটি সচল থাকবে।
- Manual bypass – অপারেটররা একটি প্রায়োরিটি চ্যানেলের মাধ্যমে থ্রটলকে ওভাররাইড করতে পারেন, ফলে লিমিট স্পর্শ করলেও গুরুত্বপূর্ণ কাজগুলো চলতে পারে।
- Auto-resume – রোলিং উইন্ডোটি সামনে এগোলে পুরনো খরচ হিসাব থেকে বাদ পড়ে যায়। যখনই মোট খরচ লিমিটের নিচে নেমে আসে, গেটটি মানুষের হস্তক্ষেপ ছাড়াই স্বয়ংক্রিয়ভাবে পুনরায় খুলে যায়।
পরীক্ষা: ১০০ ডলারের লিমিট বনাম ১৫৬ ডলারের বিদ্যমান খরচ
আমরা ১০০ ডলারের লিমিট দিয়ে সিস্টেমটি চালু করি, যখন ফ্লিটের সাম্প্রতিক কার্যক্রমের ফলে ইতিমধ্যে ১৫৬ ডলার খরচ হয়ে গিয়েছিল। থ্রটলটি তাৎক্ষণিকভাবে কার্যকর হয় এবং সমস্ত নতুন কাজ থামিয়ে দেয়। যখন আমরা সীমা বাড়িয়ে ২০০ ডলার করি, তখন গেটটি পুনরায় খুলে যায় এবং কোনো অতিরিক্ত ম্যানুয়াল পদক্ষেপ ছাড়াই কাজ পুনরায় শুরু হয়।
পরীক্ষাটি দুটি বিষয় নিশ্চিত করেছে:
- কন্ট্রোল লুপ রিয়েল-টাইমে প্রতিক্রিয়া দেখায়; বাজেট লঙ্ঘন শনাক্ত করা এবং তা কার্যকর করার মধ্যে কোনো বিলম্ব নেই।
- অপারেটররা তাৎক্ষণিকভাবে লিমিট সমন্বয় করতে পারেন, যা কম-গুরুত্বপূর্ণ কাজের জন্য অপ্রয়োজনীয় ডাউনটাইম রোধ করে।
সারকথা (Takeaway): এজেন্ট লগগুলোকে একটি আর্থিক লেজার হিসেবে বিবেচনা করা এবং ডিসপ্যাচ পাইপলাইনে একটি রোলিং-বাজেট থ্রটল যুক্ত করা আপনাকে অতিরিক্ত খরচ থেকে তাৎক্ষণিক এবং কার্যকর সুরক্ষা প্রদান করে। এটি একটি সাশ্রয়ী এবং স্থিতিস্থাপক নিয়ন্ত্রণ ব্যবস্থা যা বর্তমানে কার্যকর; পরবর্তীতে আরও উন্নত নীতিমালা যুক্ত করা যেতে পারে, তবে যেকোনো AI-এজেন্ট ফ্লিটের জন্য এই মৌলিক লুপটিই হওয়া উচিত প্রথম প্রতিরক্ষা স্তর।