প্রোডাকশনে AI এজেন্ট চালানোর মাধ্যমে আমি যা শিখলাম

আমি AI সিস্টেম তৈরি করি। আমি সেইসব ইঞ্জিনিয়ারদের সাথে কথা বলি যারা কোড শিপ করেন। চমকপ্রদ ডেমো এবং প্রকৃত প্রোডাকশন সিস্টেমের মধ্যে একটি ব্যবধান রয়েছে।

এখন মানুষ সবকিছুকেই এজেন্ট বলে। একটি লুপযুক্ত স্ক্রিপ্ট হলো একটি এজেন্ট। মেমরি সম্পন্ন একটি চ্যাটবট হলো একটি এজেন্ট। এই ভুলটি নিম্নমানের ইঞ্জিনিয়ারিংয়ের দিকে পরিচালিত করে।

টিমগুলো সাধারণ কাজগুলোকে অতিরিক্ত জটিল (over-engineer) করে ফেলে। তারা এমন সব ওয়ার্কফ্লোতে জটিল অর্কেস্ট্রেশন যোগ করে যার জন্য কেবল একটি ভালো প্রম্পটই যথেষ্ট ছিল।

একটি এজেন্টের অবশ্যই একটি উদ্দেশ্য থাকতে হবে, কেবল একটি নির্দেশ নয়। পরবর্তী পদক্ষেপ কী হবে তা তাকে সিদ্ধান্ত নিতে হবে। তাকে ব্যর্থতা সামলাতে হবে। তার কাজ কখন শেষ হয়েছে তা তাকে জানতে হবে।

বাকি সবকিছু কেবল একটি ফাংশন কল মাত্র।

• যদি একজন মানুষকে প্রতিটি ধাপে নির্দেশনা দিতে হয়, তবে সেটি একটি চ্যাট ইন্টারফেস। • যদি একটি সিস্টেম একটি ব্যর্থ টুল কল থেকে পুনরুদ্ধার করতে পারে, তবে সেটি একটি এজেন্ট। • যদি একটি সিস্টেম একটি লক্ষ্যকে উপ-কাজে (subtasks) বিভক্ত করতে পারে, তবে সেটি একটি প্রকৃত এজেন্ট।

প্রকৃত এজেন্ট ডিপ্লয়মেন্টগুলো নির্দিষ্ট কাজের জন্য হয়। তারা ডকুমেন্ট এক্সট্রাকশন বা কোড রিভিউয়ের মতো একটি কাজ খুব ভালোভাবে করে। তারা সাধারণ রিজনিং ইঞ্জিন নয়।

সফল টিমগুলো তিনটি জিনিসের ওপর গুরুত্ব দেয়:

  • টুল ডিজাইন: এজেন্ট যা কল করে তার জন্য পরিষ্কার ইন্টারফেস।
  • ফেইলর হ্যান্ডলিং: যখন একটি টুল কিছুই রিটার্ন করে না তখন কী ঘটে।
  • অবজারভেবিলিটি: একটি এজেন্ট কেন একটি নির্দিষ্ট সিদ্ধান্ত নিল তা ট্রেস করা।

LangChain বা CrewAI-এর মতো ফ্রেমওয়ার্কগুলো প্রতি মাসে পরিবর্তিত হয়। প্যাটার্নের তুলনায় ফ্রেমওয়ার্কের গুরুত্ব কম।

সফল হওয়ার জন্য এই প্যাটার্নগুলো ব্যবহার করুন:

  • পরিকল্পনা তারপর সম্পাদন: পরিকল্পনার জন্য একটি ধাপ এবং সম্পাদনের জন্য একটি আলাদা ধাপ ব্যবহার করুন।
  • রিট্রিভাল এবং রিজনিং আলাদা করুন: কনটেক্সট সংগ্রহ করা এবং কনটেক্সট ব্যবহার করা দুটি ভিন্ন কাজ।
  • স্পষ্ট হ্যান্ডঅফ: যখন একটি এজেন্ট অন্যটির কাছে কাজ হস্তান্তর করে তখন স্ট্রাকচার্ড লগ ব্যবহার করুন।

RAG একটি স্ট্যান্ডার্ড পদ্ধতি, কিন্তু বেশিরভাগ মানুষ চাঙ্কিং (chunking)-এ ব্যর্থ হয়। আপনি যদি টেক্সটকে সঠিকভাবে ভাগ করতে না পারেন, তবে মডেল কনটেক্সট হারিয়ে ফেলবে। আপনার RAG ফলাফল যদি অকেজো হয়, তবে মডেলকে দোষ দেওয়ার আগে আপনার মেটাডেটা এবং চাঙ্কিং কৌশল পরীক্ষা করে দেখুন।

মডেলগুলো আরও উন্নত এবং সস্তা হবে। এটি মূল ইঞ্জিনিয়ারিং চ্যালেঞ্জকে পরিবর্তন করে না। আপনাকে এমন সিস্টেম তৈরি করতে হবে যা আপনি নজর না দিলেও সঠিকভাবে কাজ করে।

গভর্নেন্স এবং অবজারভেবিলিটির ওপর মনোযোগ দিন। সেই ইঞ্জিনিয়াররাই গুরুত্বপূর্ণ হবেন যারা এমন সিস্টেম তৈরি করবেন যা অন্যরা বিশ্বাস করতে পারে। এটি সিস্টেম ডিজাইন, মডেল রিসার্চ নয়।

উৎস: https://dev.to/aibughunter/what-i-learned-after-running-ai-agents-in-production-for-a-year-49n