Microsoft FastContext কোডিং এজেন্টের টোকেন ব্যবহার ৬০% কমিয়ে এনেছে
কোডিং এজেন্টরা কোড খোঁজার পেছনে অনেক বেশি সময় নষ্ট করে।
যখন একটি এজেন্ট কোনো রিপোজিটরি সার্চ করে, তখন এটি প্রায়শই প্রতিটি ফাইল তার নিজস্ব context window-তে নিয়ে আসে। এর ফলে এজেন্ট কোডিং শুরু করার আগেই তার "ডেস্ক" কাঁচা ডেটা (raw data) দিয়ে ভরে যায়।
Microsoft গবেষকরা GPT-5.4 traces নিয়ে গবেষণা করেছেন এবং একটি বিশাল সমস্যা খুঁজে পেয়েছেন:
- কোড খোঁজা এবং পড়া সমস্ত টুল ব্যবহারের ৫৬.২% সময় নিয়েছিল।
- এটি মূল এজেন্টের মোট টোকেনের ৪৬.৫% ব্যবহার করেছিল।
এই ডেটার বেশিরভাগই খুব একটা কার্যকর নয় (low signal)। এজেন্টের মাত্র কয়েক লাইন প্রয়োজন হয়, কিন্তু এটি পুরো ফাইলটিই নিয়ে আসে।
এই সমস্যা সমাধানের জন্য Microsoft FastContext রিলিজ করেছে।
মূল এজেন্ট নিজে সার্চ করার পরিবর্তে, এটি একটি ডেডিকেটেড explorer subagent ব্যবহার করে। এটিকে একজন লাইব্রেরিয়ানের সাথে তুলনা করতে পারেন। আপনি আপনার ডেস্কে বসে থাকেন এবং তথ্য খোঁজার জন্য একজন লাইব্রেরিয়ানকে বইয়ের তাকে (stacks) পাঠান।
এটি যেভাবে কাজ করে:
- মূল এজেন্ট explorer-এর কাছে একটি natural language query পাঠায়।
- explorer Read, Glob এবং Grep-এর মতো read-only টুল ব্যবহার করে।
- explorer তার নিজস্ব আলাদা context-এ কোডটি খুঁজে বের করে।
- পুরো ফাইলটি ফেরত পাঠানোর পরিবর্তে, এটি একটি "file-line citation" পাঠায়।
- একটি citation দেখতে এমন হয়: path/to/file.ts:88-104।
মূল এজেন্ট অতিরিক্ত টেক্সট ছাড়াই সঠিক অবস্থানটি পেয়ে যায়।
এর ফলাফল অত্যন্ত তাৎপর্যপূর্ণ:
- টোকেন ব্যবহারের ক্ষেত্রে ৬০% পর্যন্ত হ্রাস।
- টাস্ক রেজোলিউশন রেট (task resolution rates) ৫.৫% পর্যন্ত বৃদ্ধি।
explorer মডেলটি (4B-30B) দুটি ট্রেনিং পর্যায়ের মধ্য দিয়ে যায়। প্রথমত, supervised fine-tuning এটিকে কীভাবে এক্সপ্লোর করতে হয় তা শেখায়। দ্বিতীয়ত, task-grounded reinforcement learning নিশ্চিত করে যে এটি এমন প্রমাণ খুঁজে পায় যা মূল এজেন্টকে সমস্যা সমাধানে প্রকৃতপক্ষে সাহায্য করে।
"haystack" বা অপ্রয়োজনীয় তথ্যের বোঝা একটি subagent-এর ওপর ছেড়ে দেওয়ার মাধ্যমে, মূল এজেন্ট তার context window-কে প্রকৃত রিজনিং এবং কোডিংয়ের জন্য পরিষ্কার রাখতে পারে।
Optional learning community: https://t.me/GyaanSetuAi