এজেন্টিক রিট্রিভালকে প্রথাগত রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) পাইপলাইনের পরবর্তী ধাপ হিসেবে তুলে ধরা হচ্ছে, যা এমন প্রোডাকশন এআই সিস্টেমের প্রতিশ্রুতি দেয় যা হ্যালুসিনেশন (hallucination) বন্ধ করবে এবং তথ্য কীভাবে সংগ্রহ করতে হবে সে সম্পর্কে "চিন্তা" করতে শুরু করবে। প্রবক্তারা বলছেন, একটি বিশাল ডকুমেন্ট সংগ্রহের ক্ষেত্রে পুরো কর্পাসকে মডেলের কনটেক্সট উইন্ডোতে (context window) ইনপুট দেওয়ার তুলনায় এই পদ্ধতিটি কুয়েরি বা প্রশ্নের উত্তর দেওয়ার খরচ ৮২ গুণ পর্যন্ত কমিয়ে দিতে পারে—যা জেনারেটিভ এআই স্কেল করতে চাওয়া যেকোনো ব্যবসার জন্য অত্যন্ত গুরুত্বপূর্ণ।

কেন পুরনো RAG পাইপলাইন অপর্যাপ্ত

ক্লাসিক RAG ওয়ার্কফ্লো হলো একটি নির্দিষ্ট অনুক্রম: ডকুমেন্টগুলোকে চঙ্কে (chunk) বিভক্ত করা, প্রতিটি চঙ্ককে একটি ডেন্স ভেক্টর স্পেসে এমবেড করা, এবং তারপর ব্যবহারকারীর কুয়েরির জন্য সর্বোচ্চ স্কোরিং ভেক্টরগুলো সংগ্রহ করা। ডেমোতে এই পদ্ধতিটি বেশ গোছানো মনে হয়—মডেলটি কিছু "প্রাসঙ্গিক" অনুচ্ছেদ পায় এবং আত্মবিশ্বাসের সাথে উত্তর দেয়। তবে প্রোডাকশনে এই আত্মবিশ্বাস প্রায়ই ভুল প্রমাণিত হয়।

তিনটি পদ্ধতিগত ত্রুটি এই সমস্যার কারণ হয়ে দাঁড়ায়:

  • ভেক্টর সিমিলারিটি ≠ প্রাসঙ্গিকতা। দুটি অনুচ্ছেদ গাণিতিকভাবে কাছাকাছি হতে পারে কিন্তু তারা বিপরীত তথ্য প্রকাশ করতে পারে, যা মডেলটিকে ভুল দাবি উল্লেখ করতে বাধ্য করে।
  • খণ্ডবিখণ্ড তথ্য সত্যকে নষ্ট করে। ফিক্সড চাঙ্কিং (fixed chunking) নিয়মিতভাবে একটি একক বক্তব্যকে মাঝখান থেকে ভেঙে ফেলে। যদি মডেলটি কেবল অর্ধেক অংশ পায়, তবে এটি হারিয়ে যাওয়া অংশটি পুনর্গঠন করতে পারে না।
  • অগোছালো কুয়েরি। বাস্তব জগতের প্রশ্নগুলো বেশিরভাগ এমবেডিং মডেলের ট্রেনিং ডেটা থেকে ভিন্ন হয়, ফলে সিমিলারিটি সার্চ অপ্রাসঙ্গিক চঙ্ক ফিরিয়ে আনে।

যখন পাইপলাইন ভুল কনটেক্সট প্রদান করে, তখন ডাউনস্ট্রিম ল্যাঙ্গুয়েজ মডেলটি তখনও একটি উত্তর তৈরি করে, যা প্রায়শই উচ্চ নিশ্চয়তার সাথে আসে, এবং সিস্টেমটি কোনো ত্রুটিও দেখায় না। এর ফলাফল হলো সাইলেন্ট হ্যালুসিনেশন (silent hallucination)—একটি নীরব ব্যর্থতা যা লাইভ সার্ভিসে শনাক্ত করা কঠিন।

হাইব্রিড রিট্রিভাল: একটি পর্যায়ক্রমিক সমাধান

একটি সাধারণ সমাধান হলো ডেন্স ভেক্টরের ওপর কিওয়ার্ড সার্চের স্তর যোগ করা, যা একটি হাইব্রিড রিট্রিভার তৈরি করে যা এমবেডিং দ্বারা বাদ পড়া সঠিক শব্দ মিলগুলো ধরতে পারে। একটি রির্যাঙ্কার (reranker) যোগ করা—যা একটি দ্বিতীয় মডেল যা শেখা প্রাসঙ্গিকতা স্কোরের ভিত্তিতে প্রাপ্ত তালিকার ক্রম পরিবর্তন করে—নির্ভুলতা আরও উন্নত করে।

হাইব্রিড রিট্রিভাল তবুও একটি স্ট্যাটিক স্ক্রিপ্ট অনুসরণ করে: প্রতিটি কুয়েরি একই ধরণের ধাপ অনুসরণ করে, তা কুয়েরির জটিলতা বা অনিশ্চয়তা যাই হোক না কেন। পাইপলাইনটি সিদ্ধান্ত নিতে পারে না যে এর আরও ডেটা প্রয়োজন কি না, একটি জটিল প্রশ্নকে কীভাবে উপ-প্রশ্নে (sub-questions) ভাগ করতে হবে, অথবা কখন একটি প্রাপ্ত স্নিপেট অপর্যাপ্ত।

এজেন্টিক রিট্রিভাল সার্চকে একটি সিদ্ধান্ত গ্রহণ প্রক্রিয়া হিসেবে বিবেচনা করে

এজেন্টিক রিট্রিভাল সমস্যাটিকে একটি স্বায়ত্তশাসিত "এজেন্ট"-এর মাধ্যমে নেওয়া ধারাবাহিক সিদ্ধান্তের সমস্যা হিসেবে নতুনভাবে সংজ্ঞায়িত করে, যা একজন মানুষের গবেষকের মতো কাজ করে। এজেন্টটি যা করতে পারে:

  • কুয়েরি পুনরায় লেখা। এটি সার্চ করার আগে কথ্য বা অস্পষ্ট শব্দগুলোকে স্বাভাবিক করে তোলে, যা রিট্রিভাল মডেলগুলো উদ্দেশ্য বুঝতে পারে সেই সম্ভাবনা বাড়িয়ে দেয়।
  • রিট্রিভাল প্রয়োজন কি না তা যাচাই করা। সহজ কুয়েরির ক্ষেত্রে এজেন্ট সরাসরি উত্তর দেয়, যা টোকেন সাশ্রয় করে এবং অপ্রয়োজনীয় নয়েজ এড়ায়।
  • মাল্টি-স্টেপ সার্চের পরিকল্পনা করা। জটিল প্রশ্নগুলোকে ছোট ছোট উপ-প্রশ্নে বিভক্ত করা হয়, যার প্রতিটি স্বতন্ত্রভাবে সার্চ করা হয় এবং পরে পুনরায় একত্রিত করা হয়।
  • নিজেকে সংশোধন করা। যদি প্রাথমিক ফলাফল দুর্বল মনে হয়—যেমন কম কনফিডেন্স স্কোর বা পরস্পরবিরোধী প্রমাণ—তবে এজেন্ট ভিন্নভাবে কুয়েরিটি পুনরায় পাঠায় বা সার্চের পরিধি বাড়িয়ে দেয়।

খরচের যুক্তি: লং কনটেক্সট বনাম রিট্রিভাল

কিছু ভাষ্যকার যুক্তি দেন যে ক্রমবর্ধমান বড় কনটেক্সট উইন্ডো রিট্রিভালকে অপ্রাসঙ্গিক করে তুলছে। এর বিপরীতে একটি বাস্তবসম্মত যুক্তি হলো: একটি মডেলের কনটেক্সটে বিশাল একটি কর্পাস ইনপুট দেওয়া একটি ফোকাসড রিট্রিভালের তুলনায় বহুগুণ বেশি খরচসাপেক্ষ। প্রাক্কলন অনুযায়ী, বড় ডেটাসেটের ক্ষেত্রে রিট্রিভাল ৮ থেকে ৮২ গুণ সাশ্রয়ী, যেখানে এটি সঠিক উত্তরের জন্য প্রয়োজনীয় কনটেক্সচুয়াল গ্রাউন্ডিং প্রদান করতে সক্ষম। ছোট এবং কিউরেটেড ডকুমেন্ট সেটের ওপর সূক্ষ্ম যুক্তির জন্য লং কনটেক্সট উইন্ডো কার্যকর থাকে, কিন্তু এটি স্কেলেবল সার্চের বিকল্প হতে পারে না।

স্বচ্ছতা এবং যাচাইকরণ

প্রোডাকশন-গ্রেড এআই অ্যাসিস্ট্যান্টকে অবশ্যই তার উৎসগুলো প্রকাশ করতে হবে। এজেন্টিক রিট্রিভাল প্রতিটি দাবির সাথে একটি সাইটেশন (citation) যুক্ত করতে পারে, যা একজন মানব পর্যালোচককে ফ্যাক্ট-চেক করার সুযোগ দেয়। এই “show-your-work” পদ্ধতি বিশ্বাস তৈরি করে এবং দুর্বল রিট্রিভাল পাথগুলো সামনে নিয়ে আসে যা এজেন্ট ভবিষ্যতে এড়াতে শিখতে পারে।

পরবর্তীতে যা লক্ষ্য রাখতে হবে

  • টুলিং (Tooling)।
  • মূল্যায়ন মানদণ্ড (Evaluation standards)।
  • এন্টারপ্রাইজ পাইলট (Enterprise pilots)।

মূল কথা

এজেন্টিক রিট্রিভাল সেই স্ট্যাটিক এবং ত্রুটিপূর্ণ RAG পাইপলাইনগুলোর ঊর্ধ্বে যা অনেক ডেমোতে প্রাধান্য পায়। একটি এআই সিস্টেমকে কখন এবং কীভাবে সার্চ করতে হবে তা সিদ্ধান্ত নিতে দেওয়ার মাধ্যমে, এটি টোকেন ব্যবহার কমায়, খরচ নাটকীয়ভাবে হ্রাস করে এবং—সবচেয়ে গুরুত্বপূর্ণভাবে—প্রতিটি উত্তরের জন্য যাচাইযোগ্য উৎস প্রদান করে।