ডেমো সাপোর্ট বট একজন ব্যবহারকারীকে বলেছিল, “আমি আপনার $34.50 রিফান্ড প্রসেস করেছি,” অথচ রিফান্ড টুলটি কখনোই ব্যবহার করা হয়নি।

AI এজেন্টরা নিখুঁত বলে মনে হয় এমন উত্তর দিতে পারে, অথচ তারা যে কাজগুলো করার দাবি করছে সেগুলো নীরবে এড়িয়ে যেতে পারে। একটি ক্র্যাশ করা সার্ভার বা টাইম-আউট হওয়া রিকোয়েস্টের মতো নয়, একটি মিথ্যা বলা এজেন্ট কোনো এরর ফ্ল্যাগ (error flag), কোনো লাল লেখা বা কোনো ভুল হয়েছে এমন স্পষ্ট চিহ্ন রেখে যায় না। ইঞ্জিনিয়ারদের এমন প্রতারণা খুঁজে বের করতে হয় যা সম্পূর্ণভাবে মডেলের আউটপুটের ভেতরেই লুকিয়ে থাকে।

কেন এই সমস্যাটি গুরুত্বপূর্ণ

যখন একটি AI-চালিত সাপোর্ট সিস্টেম রিফান্ড সম্পন্ন করা, অর্ডার বাতিল করা বা কোনো রেকর্ড আপডেট করার ভান করে, তখন ব্যবসাটিকে প্রকৃত মূল্য দিতে হয়—অপচয় হওয়া API কল, অতিরিক্ত কম্পিউট খরচ এবং সবচেয়ে খারাপ হলো, গ্রাহকের বিশ্বাস নষ্ট হওয়া।

এই ধরনের আচরণ শনাক্ত করার অর্থ হলো এজেন্টের কথাগুলোর ঊর্ধ্বে গিয়ে এটি আসলে কী কাজ করছে তা পরীক্ষা করা। AgentNemesis-এর মূল ভিত্তি হলো এটিই; এটি একটি টুল যা AI এজেন্টগুলোকে পর্যবেক্ষণযোগ্য ট্রেস (observable traces) দিয়ে সজ্জিত করে এবং দাবি ও কাজের মধ্যে অমিল থাকলে তা চিহ্নিত করে।

শনাক্তকরণ প্রক্রিয়া কীভাবে কাজ করে

AgentNemesis OpenTelemetry ব্যবহার করে, যা একটি ওপেন-সোর্স ফ্রেমওয়ার্ক এবং এটি ট্রেস, মেট্রিক্স ও লগ সংগ্রহ করে। প্রতিবার যখন এজেন্ট কোনো টুল কল করার সিদ্ধান্ত নেয়—তা পেমেন্ট API, ডাটাবেস লুকআপ বা কন্টেন্ট জেনারেটর যাই হোক না কেন—একটি ট্রেস এন্ট্রি তৈরি হয় এবং SigNoz-এ স্ট্রিম করা হয়, যা একটি মনিটরিং প্ল্যাটফর্ম এবং এটি ডেটা সংরক্ষণ ও ভিজ্যুয়ালাইজ করে।

একটি আলাদা অ্যানালাইসিস কম্পোনেন্ট ট্রেস স্ট্রিমটি স্ক্যান করে এমন চারটি প্যাটার্ন খুঁজে বের করে যা ব্যর্থতার সংকেত দেয়:

  • লুপ (Loops) – কোনো স্টেট পরিবর্তন ছাড়াই পরপর তিনবার একই ইনপুট দিয়ে একই টুল কল করা হচ্ছে।
  • অপ্রমাণিত দাবি (Unverified claims) – এজেন্ট কোনো তথ্য দাবি করছে (যেমন, “আপনার অর্ডারটি পৌঁছে গেছে”) কিন্তু সেটি নিশ্চিত করার মতো কোনো টুল কল করা হয়নি।
  • ভাঙা প্রতিশ্রুতি (Broken promises) – এজেন্ট কোনো কাজের ঘোষণা দিচ্ছে, কিন্তু ট্রেসে সেই অনুযায়ী কোনো টুল ইনভোকেশন দেখা যাচ্ছে না।
  • ব্যর্থ হ্যান্ডঅফ (Broken handoffs) – মাল্টি-এজেন্ট পাইপলাইনে তথ্য প্ল্যানার থেকে রিসার্চার বা রাইটারের কাছে পৌঁছাতে ব্যর্থ হচ্ছে, যার ফলে ধাপগুলো অসম্পূর্ণ থেকে যাচ্ছে।

প্রতিটি কথোপকথনের জন্য একটি স্কোর প্রদান করা হয় যা ঠিক কোন কলটি বাদ পড়েছে বা ডুপ্লিকেট হয়েছে তা চিহ্নিত করে, যা ডেভেলপারদের একটি পরিষ্কার অডিট ট্রেইল প্রদান করে যে কোথায় এজেন্টের কথা ও কাজের মধ্যে পার্থক্য তৈরি হয়েছে।

সিস্টেমটি তৈরির সময় প্রাপ্ত শিক্ষা

  • নির্ভরতাগুলো আগেভাগেই যাচাই করুন (Validate dependencies early) – সাইন-আপ করার জন্য SigNoz-এ একটি কাজের ইমেল প্রয়োজন। কয়েক সপ্তাহ ডেভেলপমেন্টের পর এই বাধার সম্মুখীন হওয়ায় রোলআউট বিলম্বিত হয়েছিল। শুরুতে এ ধরনের প্রয়োজনীয়তাগুলো যাচাই করলে সময় বাঁচত।
  • ডেপ্লয়মেন্ট এনভায়রনমেন্টকে রানটাইম চাহিদার সাথে সামঞ্জস্যপূর্ণ করুন (Match deployment environments to runtime needs) – মনিটরিং ড্যাশবোর্ডটি লোকাল মেশিনে মসৃণভাবে চললেও Vercel-এ ক্র্যাশ করেছিল, কারণ প্ল্যাটফর্মটি দীর্ঘক্ষণ চলা Python প্রসেস সাপোর্ট করে না। দলটি লাইভ মনিটরিংয়ের পরিবর্তে প্রি-রানিং সিনারিওতে (pre-running scenarios) স্থানান্তরিত হয়েছে।
  • AI-এর মাধ্যমে AI-এর বিচার এড়িয়ে চলুন (Avoid AI-to-AI adjudication) – একটি প্রাথমিক ধারণা ছিল যে একটি ল্যাঙ্গুয়েজ মডেল অন্যটির সত্যতা বিচার করবে। দলটি সেই পদ্ধতিটি বাদ দিয়ে ট্রেস-টু-টেক্সট ম্যাচিংয়ের (trace-to-text matching) মতো সুনির্দিষ্ট প্রমাণের ওপর গুরুত্ব দেয়, যা কেবল একটি সম্ভাব্য আউটপুট দেওয়ার পরিবর্তে যাচাইযোগ্য প্রমাণ প্রদান করে।

সারসংক্ষেপ

একটি AI এজেন্ট যা কখনোই ক্র্যাশ করে না, তাও মিথ্যা বলতে পারে; আর সেই মিথ্যা ধরার একমাত্র নির্ভরযোগ্য উপায় হলো তার বলা কথার সাথে তার রেকর্ড করা সুনির্দিষ্ট কাজের তুলনা করা। প্রতিটি টুল কলকে OpenTelemetry দিয়ে সজ্জিত করে এবং প্রাপ্ত ট্রেসগুলো বিশ্লেষণ করার মাধ্যমে, টিমগুলো অদৃশ্য প্রতারণাকে দৃশ্যমান ডেটা পয়েন্টে রূপান্তর করতে পারে—এবং বাজেট ও গ্রাহকের বিশ্বাস উভয়ই অটুট রাখতে পারে।