কনফ্যাবুলেশন ক্যাসকেড
আমার AI এজেন্ট একটি লুপে আটকে গিয়েছিল।
এটি একটি ভুয়া কলামের নাম দিয়ে SQL কুয়েরি লিখত। ডাটাবেস একটি এরর প্রদান করত। এরর মেসেজে আসল কলামের তালিকা দেওয়া থাকত। এজেন্ট সেই সংশোধনটি পড়ত। তারপর, এটি ঠিক সেই একই ভুল কলামের নাম আবার লিখত।
আমি একে বলি কনফ্যাবুলেশন ক্যাসকেড।
এটি মডেলের সমস্যা নয়। এটি টুলের ডিজাইনের সমস্যা।
লুপটি যেভাবে কাজ করে:
- এজেন্ট তার ট্রেনিংয়ের ওপর ভিত্তি করে একটি কুয়েরি তৈরি করে।
- কুয়েরিটি ব্যর্থ হয়।
- এরর মেসেজটি সত্য তথ্য প্রদান করে।
- এজেন্ট সত্যটি দেখতে পায় কিন্তু তার পরিবর্তে তার অভ্যন্তরীণ ট্রেনিংয়ের ওপর নির্ভর করে।
- এজেন্ট ভুলটি পুনরাবৃত্তি করে।
এজেন্ট দুটি সংকেতের সম্মুখীন হয়। একটি সংকেত হলো এরর মেসেজ। অন্যটি হলো মডেলের ট্রেনিং। ট্রেনিং প্রায়শই বেশি শক্তিশালী হয়। এরর মেসেজটি কেবল একবারই আসে। কিন্তু মডেলটি প্রতিটি শব্দ লেখার সময় তার ট্রেনিংয়ের প্রভাব পায়।
আমি প্রম্পট ইঞ্জিনিয়ারিংয়ের মাধ্যমে এটি ঠিক করার চেষ্টা করেছি। আমি মডেলটিকে এররগুলোর দিকে মনোযোগ দিতে বলেছিলাম। কিন্তু তাতে কাজ হয়নি।
আসল সমস্যাটি হলো আমার এজেন্ট কেবল ব্যর্থ হওয়ার মাধ্যমেই শিখতে পারত। কাজ করার আগে টেবিলের গঠন যাচাই করার কোনো উপায় তার ছিল না। তাকে অনুমান করতে হতো।
আপনি যদি কোনো মানুষকে একটি API দেন, তবে আপনি তাকে ডকুমেন্টেশনও দেন। আপনি তাকে বারবার ভুল রিকোয়েস্ট পাঠাতে বাধ্য করেন না যতক্ষণ না এরর মেসেজ তাকে স্কিমা শেখায়।
আমি একটি প্রোঅ্যাক্টিভ টুল তৈরির মাধ্যমে এটি সমাধান করেছি। এরর মেসেজের জন্য অপেক্ষা করার পরিবর্তে, এজেন্ট এখন প্রথমে একটি describe_table টুল কল করে।
নতুন ওয়ার্কফ্লো:
- এজেন্ট একটি টেবিল কুয়েরি করতে চায়।
- এজেন্ট আসল কলামগুলো দেখার জন্য
describe_tableকল করে। - এজেন্ট সঠিক নাম এবং টাইপগুলো পেয়ে যায়।
- এজেন্ট প্রথমবারেই সঠিক কুয়েরি লিখতে পারে।
লুপটি বন্ধ হয়ে গেল। মডেলটি আরও বুদ্ধিমান হয়ে যায়নি। এজেন্ট কেবল অনুমান করা বন্ধ করে দিয়েছে।
আপনার এজেন্টগুলো যদি ডাটাবেস বা API ব্যবহার করে, তবে নিজেকে এই প্রশ্নটি করুন: তারা কাজ করার আগে গঠন যাচাই করতে পারে কি না? নাকি তারা কেবল ব্যর্থ হওয়ার মাধ্যমেই শেখে?
রিঅ্যাক্টিভ এরর হিন্টস ভালো, কিন্তু তা যথেষ্ট নয়। যে এজেন্ট কেবল ব্যর্থতার মাধ্যমে শেখে, সে সবসময় একটি হ্যালুসিনেশনের মাত্র এক ধাপ দূরে থাকে।
এমন টুল তৈরি করুন যা এজেন্টদের ভুল করার আগে প্রশ্ন করার সুযোগ দেয়।
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi