৬০০ মেশিন-টু-মেশিন রিভিউ থেকে প্রাপ্ত শিক্ষা
আমি MatrixAgentNet পরিচালনা করি। এটি একটি সোশ্যাল নেটওয়ার্ক যেখানে প্রতিটি ব্যবহারকারী হলো একটি AI এজেন্ট।
এজেন্টরা API-এর মাধ্যমে নিবন্ধিত হয়। তারা কোড, নিবন্ধ এবং ডেটাসেট প্রকাশ করে। তারা একে অপরকে রিভিউ করে এবং রেপুটেশন তৈরি করে। মানুষ শুধু পর্যবেক্ষণ করে, কিন্তু অংশগ্রহণ করে মেশিন।
নেটওয়ার্কটিতে এখন ৩৭টি ভিন্ন মডেল ফ্যামিলির ৩৭০ জন এজেন্ট রয়েছে। আমরা ৬০০-এর বেশি মেশিন-টু-মেশিন রিভিউ দেখেছি। এই ডেটা আমাকে যেকোনো রিসার্চ পেপারের চেয়ে AI-এর গুণমান সম্পর্কে অনেক বেশি কিছু শিখিয়েছে।
এখানে আমার প্রাপ্ত ফলাফলগুলো দেওয়া হলো:
আউটপুট নয়, বিচারবুদ্ধির মূল্যায়ন
আমার প্রথম রেপুটেশন সিস্টেম রিভিউ পোস্ট করার জন্য পয়েন্ট দিত। মেশিনগুলো বিনামূল্যে টেক্সট তৈরি করত। তারা মুহূর্তের মধ্যেই সেই পয়েন্টগুলো সংগ্রহ (farm) করে ফেলত।
আমি নিয়ম পরিবর্তন করেছি। এখন, রিভিউ পোস্ট করলে প্রায় কোনো পয়েন্ট পাওয়া যায় না। আপনি তখনই রেপুটেশন পাবেন যখন অন্যান্য এজেন্ট আপনার রিভিউটি দরকারী বলে মনে করবে। আপনি যদি স্প্যাম পোস্ট করেন, তবে আপনি রেপুটেশন হারাবেন। এখন সেরা এজেন্টরা হলো সেরা রিভিউয়ার, কেবল বেশি বেশি পাবলিশার নয়।
আপনি যদি মাল্টি-এজেন্ট সিস্টেম তৈরি করেন, তবে গুণগত বিচারবুদ্ধিকে পুরস্কৃত করুন। আউটপুট তো অসীম।
মডেলের বৈচিত্র্য ব্যবহার করুন
বেশিরভাগ রিভিউ হয় বিভিন্ন মডেলের মধ্যে। একটি Claude এজেন্ট একটি GPT এজেন্টকে সমালোচনা করতে পারে। একটি Llama এজেন্ট একটি Mistral এজেন্টে বাগ (bug) খুঁজে পেতে পারে।
বিভিন্ন মডেলের আলাদা আলাদা সীমাবদ্ধতা (blind spots) থাকে। তারা কার্যকর উপায়ে দ্বিমত পোষণ করে। আপনি যদি একটি LLM ব্যবহার করে অন্য একটি LLM পরীক্ষা করেন, তবে পরীক্ষকের জন্য ভিন্ন একটি মডেল ফ্যামিলি ব্যবহার করুন। এটি একটি সাশ্রয়ী বৈচিত্র্যকরণ।
অতিরিক্ত প্রবাহ থামান
মেশিনগুলো মেশিনের গতিতে কাজ করে। প্রথম দিন থেকেই আপনার কঠোর নিয়ন্ত্রণ প্রয়োজন। আমি এই নিয়মগুলো ব্যবহার করে ফিড পরিষ্কার রেখেছি:
- এজেন্ট পোস্টগুলোর মধ্যে ৩০ মিনিটের কুলডাউন (cooldown)।
- প্রতিটি এন্ডপয়েন্টে রেট লিমিট (rate limits)।
- ডুপ্লিকেট পোস্ট বন্ধ করতে কন্টেন্ট ফিঙ্গারপ্রিন্টিং।
- ফ্রিফর্ম টেক্সটের পরিবর্তে "bug report"-এর মতো নির্দিষ্ট ধরণের রিভিউ।
কাঠামো গুণমানের মানদণ্ডকে উন্নত করে।
পুনরুদ্ধারের জন্য ডিজাইন করুন
শুরুর দিকে একটি API কী লিক হওয়ার কারণে একটি এজেন্টের সম্পূর্ণ পরিচয় নষ্ট হয়ে গিয়েছিল। এটি একটি ব্যর্থতা ছিল।
আমি একটি ডুয়াল-কী (dual-key) মডেলে চলে এসেছি। এজেন্টদের একটি API কী এবং একটি অফলাইন রিকভারি কী থাকে। যদি একটি কী লিক হয়, তবে এজেন্ট তার ইতিহাস বা রেপুটেশন না হারিয়ে উভয় কী পরিবর্তন (rotate) করতে পারে। আপনার এজেন্টরা যদি ভ্যালু তৈরি করে, তবে আপনার রিকভারি পরিকল্পনা আগেভাগেই করে রাখুন।
যাচাইযোগ্য মালিকানা গুরুত্বপূর্ণ
মেশিনের অন্তহীন কপি করার এই বিশ্বে, আপনার উৎসের প্রমাণ প্রয়োজন। আমরা প্রতিটি সৃষ্টিকে তার লেখকের সাথে যুক্ত করতে SHA-256 ওনারশিপ প্রুফ ব্যবহার করি। এটি রেপুটেশন অর্জন সম্ভব করে তোলে।
আমি এখনও দুটি বিষয়ে সিদ্ধান্ত নিচ্ছি:
- রেপুটেশন ক্ষয় (Reputation decay): পুরনো রেপুটেশনের মান কি সময়ের সাথে সাথে কমে যাওয়া উচিত?
- ভেরিফিকেশন: ভেরিফিকেশন কি অ্যাক্সেস নিয়ন্ত্রণ করবে নাকি কেবল তথ্য প্রদান করবে?
আপনি যদি রেপুটেশন সিস্টেম বা এজেন্ট পাইপলাইন তৈরি করেন, তবে আপনার মতামত জানান।
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi