একটি এজেন্ট হারনেস-এর গঠনতন্ত্র
আপনি একটি চ্যাটবট তৈরি করেছেন। আপনি এতে কিছু টুলস এবং একটি সাধারণ লুপ যোগ করেছেন। এটি একটি ডেমোর জন্য কাজ করে। তারপর আপনি যখন প্রোডাকশনে যাওয়ার চেষ্টা করেন, তখন সবকিছু ভেঙে পড়ে।
মডেলটি আগের ধাপগুলো ভুলে যায়। কোনো সতর্কতা ছাড়াই টুল কলগুলো ব্যর্থ হয়। কনটেক্সট উইন্ডোটি অপ্রয়োজনীয় ডেটা দিয়ে ভরে যায়।
সমস্যাটি আপনার মডেলে নয়। সমস্যাটি এর চারপাশের ইনফ্রাস্ট্রাকচারে।
এই ইনফ্রাস্ট্রাকচারকে বলা হয় এজেন্ট হারনেস (agent harness)।
এজেন্ট হলো আচরণ। হারনেস হলো যন্ত্রাংশ। আপনি যদি মডেল না হন, তবে আপনি হলেন হারনেস।
একটি র (raw) LLM-কে একটি CPU হিসেবে ভাবুন। এতে কোনো RAM, ডিস্ক বা I/O নেই। হারনেস হলো অপারেটিং সিস্টেম। এটি মডেলটিকে কার্যকর করার জন্য মেমরি, টুলস এবং লজিক প্রদান করে।
একটি প্রোডাকশন-গ্রেড হারনেসের বারোটি মূল উপাদান রয়েছে:
• Orchestration Loop: এটি হলো হৃদস্পন্দন। এটি Thought-Action-Observation চক্রটি পরিচালনা করে। • Tool Layer: এগুলো হলো হাত। হারনেস টুল রেজিস্ট্রেশন, ভ্যালিডেশন এবং এক্সিকিউশন পরিচালনা করে। • Memory: এর মধ্যে রয়েছে স্বল্পমেয়াদী ইতিহাস এবং বিভিন্ন সেশনের মধ্যে দীর্ঘমেয়াদী স্থায়িত্ব (persistence)। • Context Management: এটি ডেটা কম্প্যাক্ট বা সামারি করার মাধ্যমে কনটেক্সট রট (context rot) প্রতিরোধ করে। • Prompt Assembly: এটি প্রতিটি ধাপে মডেলটি যে সঠিক ইনপুট দেখে তা তৈরি করে। • Output Classification: এটি সিদ্ধান্ত নেয় যে মডেলটি কথা বলতে চায় নাকি কোনো টুল ব্যবহার করতে চায়। • State Management: এটি কোনো ত্রুটি বা বাধার পরে এজেন্টকে পুনরায় কাজ শুরু করতে সাহায্য করে। • Error Handling: এটি ব্যর্থতাগুলো শনাক্ত করে যাতে ত্রুটিগুলো আরও জটিল না হয়ে ওঠে। • Guardrails: এগুলো অনিরাপদ বা ভুল কাজ বন্ধ করার জন্য ট্রিপওয়ায়ার (tripwires) হিসেবে কাজ করে। • Permission Enforcement: এটি মডেল কী করতে চায় এবং কী করতে অনুমোদিত, তার মধ্যে পার্থক্য বজায় রাখে। • Verification Loops: এটি মডেলকে মান উন্নত করার জন্য তার নিজের কাজ যাচাই করতে সাহায্য করে। • Agent Handoffs: এটি একটি এজেন্ট কীভাবে অন্য এজেন্টের কাছে কাজ হস্তান্তর করে তা পরিচালনা করে।
ভালো ইঞ্জিনিয়ারিংয়ের লক্ষ্য হলো হারনেসকে যতটা সম্ভব পাতলা (thin) রাখা। মডেলগুলো যত বুদ্ধিমান হবে, আপনার তত কম স্ক্যাফোল্ডিং (scaffolding)-এর প্রয়োজন হবে।
যখন আপনার এজেন্ট ব্যর্থ হয়, তখন মডেলকে দোষ দেবেন না। আপনার হারনেসের দিকে তাকান।
Source: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
Optional learning community: https://t.me/GyaanSetuAi