FastContext: সার্চ এবং সমাধানকে আলাদা করা

কোডিং এজেন্টরা কোড খোঁজার পেছনে অনেক বেশি সময় নষ্ট করে।

Microsoft এবং Shanghai Jiao Tong University এই সমস্যাটি নিয়ে গবেষণা করেছে। তারা দেখতে পেয়েছে যে, কোড খোঁজার কাজে টুল ব্যবহারের (tool use turns) ৫৬.২% সময় ব্যয় হয়। এটি মোট টোকেনের (tokens) ৪৬.৫% ব্যবহার করে।

যখন একটি মডেল একই সাথে কোড খোঁজে এবং ঠিক করে, তখন তার মেমরি অগোছালো হয়ে পড়ে। এটি অপ্রয়োজনীয় ফাইল স্নিপেট (file snippets) এবং ভুল অনুমানের মাধ্যমে পূর্ণ হয়ে যায়। এর ফলে রিজনিং (reasoning) করা কঠিন হয়ে পড়ে।

FastContext এই সমস্যার সমাধান করে। এটি রিপোজিটরি এক্সপ্লোরেশনের (repository exploration) জন্য একটি আলাদা সাব-এজেন্ট (subagent) ব্যবহার করে।

এটি যেভাবে কাজ করে: • এক্সপ্লোরার এজেন্ট সঠিক ফাইল এবং লাইন নম্বর খুঁজে বের করে। • এটি মেইন এজেন্টের কাছে বড় কোনো সারাংশ (summary) পাঠায় না। • এটি শুধুমাত্র সঠিক প্রমাণের একটি ছোট অংশ পাঠায়। • মেইন এজেন্ট বাগ (bug) ফিক্স করার দিকে মনোনিবেশ করতে পারে।

এই ডিজাইনটি দুটি বড় সুবিধা প্রদান করে:

  1. কম নয়েজ (noise)। মেইন এজেন্ট প্রতিটি ডেড এন্ড (dead end) দেখতে পায় না।
  2. উন্নত দক্ষতা। ছোট মডেলগুলো (4B থেকে 30B প্যারামিটার) সার্চের কাজটি কার্যকরভাবে সম্পন্ন করতে পারে।

ফলাফলগুলো স্পষ্ট। Mini-SWE-Agent-এর সাথে FastContext ব্যবহার করলে টাস্ক সফলতার হার ৫.৫% বৃদ্ধি পেয়েছে। এটি টোকেন ব্যবহারের পরিমাণও ৬০% কমিয়ে দিয়েছে।

এজেন্ট তৈরির জন্য কিছু শিক্ষা:

  • সার্চকে একটি মূল কাজ হিসেবে বিবেচনা করুন, কোনো পার্শ্ববর্তী ধাপ হিসেবে নয়।
  • ফাইল পাথ এবং লাইন নম্বর পাঠান, পুরো চ্যাট হিস্ট্রি নয়।
  • পরবর্তী মডেলের জন্য স্ট্রাকচার্ড ডেটা (structured data) প্রদান করতে মডেলগুলোকে প্রশিক্ষণ দিন।
  • আপনার সাফল্যের হারের মতোই টোকেন ব্যবহারের দিকেও সতর্ক দৃষ্টি রাখুন।

একটি মডেলকে দিয়ে সবকিছু করার জন্য বাধ্য করবেন না। সার্চ করার জন্য একজন বিশেষজ্ঞ (specialist) সমাধানকারীকে আরও দ্রুত এবং নির্ভরযোগ্য করে তোলে।

উৎস: https://dev.to/prabhakar_chaudhary_7afe4/fastcontext-why-coding-agents-benefit-from-a-separate-repository-explorer-3gen

ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi