টুল কল সফল হয়েছে। ফলাফল ব্যর্থ হয়েছে।

ইঞ্জিনিয়ারিং টিমগুলো প্রায়ই ভুল সংকেত খোঁজে।

আপনি ক্র্যাশ খোঁজেন। আপনি এক্সেপশন খোঁজেন। আপনি লাল ড্যাশবোর্ড খোঁজেন।

কিছু ভয়াবহ ব্যর্থতা দেখতে ব্যর্থতার মতো মনে হয় না। সেগুলো দেখতে সফলতার মতো মনে হয়।

AI agents এবং MCP servers নিয়ে কাজ করার সময় আমি এই প্যাটার্নটি দেখেছি। একটি এজেন্ট একটি টুল কল করে। টুলটি একটি সফল রেসপন্স প্রদান করে। কোনো এরর (error) নেই। কোনো টাইমআউট (timeout) নেই। সিস্টেমটি স্বাভাবিক দেখায়।

কিন্তু কাজটি ব্যর্থ হয়েছে। অ্যাকশনটি কখনোই সম্পন্ন হয়নি। ব্যবহারকারী ভুল ফলাফল পান।

আপনার টিমের আগে গ্রাহক সমস্যাটি খুঁজে পান।

বেশিরভাগ সফটওয়্যার একটি ধারণার ওপর ভিত্তি করে চলে: যদি রিকোয়েস্ট সফল হয়, তবে ফলাফলও সফল হবে।

যখন আপনি এক্সটার্নাল সিস্টেম ব্যবহার করেন, তখন এই ধারণাটি ভুল প্রমাণিত হয়। AI agents নির্ভর করে API, ডাটাবেস এবং SaaS প্ল্যাটফর্মের ওপর। প্রতিটি ডিপেন্ডেন্সি রিকোয়েস্ট এবং বাস্তবতার মধ্যে একটি ব্যবধান তৈরি করে।

সিস্টেম সফলতার রিপোর্ট দেয়। বাস্তবতা হলো একটি ব্যর্থতা।

উদাহরণস্বরূপ:

• টুলটি একটি বৈধ রেসপন্স প্রদান করে, কিন্তু ফলাফলটি হয় null। এজেন্ট অসম্পূর্ণ ডেটা নিয়ে কাজ চালিয়ে যায়। • একটি রিকোয়েস্ট তিনটি অ্যাকশন ট্রিগার করে। কিন্তু মাত্র একটি সম্পন্ন হয়। টুলটি তবুও সফলতার রিপোর্ট দেয়। ফলে আপনার ওয়ার্কফ্লো (workflow) এখন ভেঙে গেছে। • রেসপন্সটি সফলভাবে আসে, কিন্তু ডেটা পুরনো। এজেন্ট পুরনো তথ্যের ওপর ভিত্তি করে সিদ্ধান্ত নেয়। • একটি ফিল্ডের ফরম্যাট পরিবর্তন হয়। সিস্টেমটি তখনও ডেটা পায়, কিন্তু তার অর্থ ভুল হয়। ওয়ার্কফ্লোটি নিঃশব্দে ভেঙে যায়।

ক্র্যাশ খুঁজে পাওয়া সহজ। নিঃশব্দ ব্যর্থতা (silent failures) খুঁজে পাওয়া কঠিন।

একটি ক্র্যাশ অ্যালার্ট ট্রিগার করে। একটি নিঃশব্দ ব্যর্থতা ব্যবহারকারীর বিশ্বাস নষ্ট করে। ক্ষতি হওয়ার পর ইঞ্জিনিয়ারদের ঘণ্টার পর ঘণ্টা ডিবাগিং (debugging) করতে হয়।

তদন্ত সাধারণত তখনই শুরু হয় যখন একজন গ্রাহক অভিযোগ করেন। রিলায়েবিলিটি (reliability) সমস্যা খুঁজে বের করার এটি সবচেয়ে ব্যয়বহুল উপায়।

সফল রিকোয়েস্টের ওপর অন্ধবিশ্বাস করা বন্ধ করুন। সফল ফলাফলের সত্যতা যাচাই করা শুরু করুন।

একটি রেসপন্স কোড কেবল জানায় যে যোগাযোগ হয়েছে কি না। এটি জানায় না যে লক্ষ্য পূরণ হয়েছে কি না।

আপনার শেষ ১০টি প্রোডাকশন টুল কল রিভিউ করুন। এই প্রশ্নগুলো করুন:

  • রিকোয়েস্টটি কি সফল হয়েছিল?
  • কাঙ্ক্ষিত ফলাফল কি অর্জিত হয়েছে?
  • এটি ব্যর্থ হলে আমরা কীভাবে বুঝব?

যদি উত্তরগুলো ভিন্ন হয়, তবে আপনার রিলায়েবিলিটি গ্যাপ (reliability gap) রয়েছে। আপনি যদি না খুঁজে পান, তবে আপনার ব্যবহারকারীরা শীঘ্রই তা খুঁজে পাবেন।

Source: https://dev.to/sasi_sundar/the-tool-call-succeeded-the-outcome-failed-3l59

Optional learning community: https://t.me/GyaanSetuAi