আমার AI Agent-এর বাধার মূল কারণ মডেল ছিল না, বরং আর্কিটেকচার ছিল।

তিন মাস আগে, একজন ক্লায়েন্টের workflow ভেঙে পড়েছিল।

আমি document classification, tagging, এবং summaries-এর জন্য একটি মাত্র agent ব্যবহার করতাম। এটি দিনে ৫০টি ডকুমেন্টের জন্য ভালো কাজ করত। তারপর কাজের পরিমাণ বেড়ে ৫০০ হয়ে গেল।

প্রতিটি batch-এ agent-টির ৪০ মিনিট সময় লাগত। এটি scale করতে পারছিল না। এটি crash করছিল।

আমি কোনো বড় model-এ পরিবর্তন করিনি। পরিবর্তে, আমি agent-টিকে তিনটি specialized role-এ বিভক্ত করেছি। এই role-গুলো parallelভাবে চলত।

Throughput ৪০ মিনিট থেকে কমে ৪ মিনিটে নেমে এল। Model একই ছিল। Architecture বদলে গিয়েছিল।

বেশিরভাগ ডেভেলপার sequential agent তৈরির ভুল করেন। যেখানে একটি agent একের পর এক সব কাজ সম্পন্ন করে।

আপনার যদি ৫০০টি document থাকে এবং প্রতি ডকুমেন্টের জন্য তিনটি task থাকে, তবে আপনি একে একে ১,৫০০টি LLM call করবেন। প্রতি কলে ২ সেকেন্ড সময় নিলেও আপনাকে ৫০ মিনিট অপেক্ষা করতে হবে। আপনার model-এর বেশিরভাগ সময় কেটে যায় অপেক্ষায়।

এর সমাধান হলো সমান্তরালভাবে (concurrently) চলা specialized agent ব্যবহার করা।

  • ছোট এবং সুনির্দিষ্ট system prompt ব্যবহার করুন।
  • স্বাধীন task-গুলো একই সাথে চালান।
  • taskগুলো পরিচালনা করতে একটি dispatcher ব্যবহার করুন।

Specialized agent-গুলো দ্রুততর এবং সাশ্রয়ী। নির্দিষ্ট কাজের ক্ষেত্রে একটি tight prompt-সহ একটি ছোট model একটি বড় general model-কে হারিয়ে দেবে।

তবে, সবকিছু parallelize করবেন না। এই ভুলগুলো এড়িয়ে চলুন:

  • একে অপরের ওপর নির্ভরশীল task-গুলোকে parallelize করবেন না। যদি task B-এর জন্য task A-এর output প্রয়োজন হয়, তবে আপনাকে সেগুলো ক্রমানুসারে চালাতে হবে।
  • খুব ছোট task-গুলোকে parallelize করবেন না। Agent পরিচালনা করার overhead কাজের চেয়ে বেশি সময় নিতে পারে।
  • Retrieval speed উপেক্ষা করবেন না। যদি database lookup-এর কারণে আপনার system ধীরগতির হয়, তবে LLM call-গুলো parallelize করলে কোনো লাভ হবে না।

Scale করার জন্য এই ধাপগুলো অনুসরণ করুন:

  • প্রথমে আপনার system profile করুন। খুঁজে বের করুন আসলে কোথায় সময় নষ্ট হচ্ছে।
  • নির্দিষ্ট role-এর জন্য specialized agent ব্যবহার করুন।
  • কোড লেখার আগে আপনার dependency graph ম্যাপ করে নিন।

একটি AI agent তৈরি করা দুটি ভিন্ন সমস্যা। একটি হলো agent-টি কী কাজ করে। অন্যটি হলো agent-টি আপনার system-এ কীভাবে খাপ খায়।

Production system-গুলো দ্বিতীয় সমস্যাটির ওপর ভিত্তি করেই টিকে থাকে বা ব্যর্থ হয়।

আপনি যদি কোনো সীমাবদ্ধতার সম্মুখীন হন, তবে শুধু একটি বড় model কিনে ফেলবেন না। প্রথমে আপনার system map তৈরি করুন। আপনি হয়তো দেখতে পাবেন যে architecture-ই আসল সমস্যা।

Source: https://dev.to/mrclaw207/my-ai-agent-bottleneck-wasnt-the-model-it-was-the-architecture-2h9m

Optional learning community: https://t.me/GyaanSetuAi