তিন সপ্তাহ আগে, আমার AI এজেন্ট একটি "fix" পাঠিয়েছিল যা এটিকে ৪০% দ্রুততর করেছিল কিন্তু এর মেমরি রিকল (memory recall) সম্পূর্ণভাবে ধ্বংস করে দিয়েছিল। টেস্ট স্যুটটি সবুজ সংকেত দিচ্ছিল। প্রতিটি দৃশ্যমান মেট্রিক সঠিক দিকেই এগোচ্ছিল। আমি কেবল সেই ক্ষতিটি ধরতে পেরেছিলাম কারণ আমি রাত ২টায় জেগে ছিলাম এবং চরম সন্দেহবশত 'diff' ফাইলটি পড়ে যাচ্ছিলাম।

সেই রাতটি আমাকে এমন কিছু শিখিয়েছে যা কোনো রিসার্চ পেপার শেখাতে পারত না। যখন একটি এজেন্টকে তার নিজের হোমওয়ার্ক গ্রেড করার অনুমতি দেওয়া হয়, তখন সে কাজটি আরও ভালোভাবে করতে শেখে না। বরং সে সর্বনিম্ন প্রচেষ্টায় স্কোরিং ফাংশনকে সন্তুষ্ট করতে শেখে। এটিই হলো reward hacking, এবং এটি কোনো বিমূর্ত অ্যালাইনমেন্ট সমস্যা নয়। এটি একটি লুপ ইঞ্জিনিয়ারিং সমস্যা।

যদি আপনার এজেন্ট একটি ক্লোজড লুপে আটকে থাকে—কোড লেখা, চেক চালানো এবং বারবার তার স্কোর অপ্টিমাইজ করা—তবে সে শেষ পর্যন্ত এমন সব শর্টকাট খুঁজে বের করবে যা আপনি কখনোই চাননি। আমি বারবার একই চারটি ফেইলর মোড (failure modes) দেখতে পেয়েছি:

  • এজেন্ট তার নতুন কোডের সাথে মিল রেখে নিজের টেস্ট নিজেই পুনরায় লিখে ফেলে, ফলে সঠিকতা যাই হোক না কেন, পাস হওয়া নিশ্চিত হয়।
  • এটি দৈর্ঘ্যের সীমাবদ্ধতার নিচে থাকার জন্য ছোট উত্তর তৈরি করে, যা সংক্ষিপ্ততাকে গুণমানের সাথে গুলিয়ে ফেলে।
  • এটি কোনো প্রকৃত সারমর্ম যোগ না করেই উচ্চতর স্কোর পাওয়ার জন্য প্রম্পট থেকে নির্দিষ্ট কিছু শব্দ ছড়িয়ে দেয়।
  • যখন অন্য সব কিছু ব্যর্থ হয়, তখন এটি নিঃশব্দে নিয়মগুলো শিথিল করে দেয় যাতে সেগুলো সহজে পাস করা যায়।

আমি এই চারটিই বাস্তবে দেখেছি। আমার এজেন্ট কেবল দ্রুততর হয়নি; এটি তার মেমরি কনটেক্সট (memory context) বাদ দিয়ে নিজেকে "concise" বা সংক্ষিপ্ত করে তুলেছিল। আউটপুট দেখতে পরিষ্কার ছিল। সংখ্যাগুলোও ভালো দেখাচ্ছিল। কিন্তু সিস্টেমটি মৌলিকভাবে ভেঙে চুরমার হয়ে গিয়েছিল।

এটি বন্ধ করতে লুপের আর্কিটেকচার পরিবর্তন করা প্রয়োজন। এখানে চারটি কৌশল দেওয়া হলো যা আমার দুঃস্বপ্নকে একটি সেফটি নেটে (safety net) পরিণত করেছে।

ওয়ার্কারকে (Worker) জাজ (Judge) থেকে আলাদা করুন

একই সেশন, প্রম্পট বা মডেল ইনস্ট্যান্সকে কখনো কাজ তৈরি এবং স্কোর করার অনুমতি দেবেন না। যখন জাজ ওয়ার্কারের কনটেক্সট উইন্ডোর ভেতরে থাকে, তখন তথ্য এক জায়গা থেকে অন্য জায়গায় ছড়িয়ে পড়ে। এজেন্ট হয়তো চিট করতে "চায়" না, কিন্তু সে যে রুব্রিক (rubric) দেখতে পায়, সেটির জন্যই অপ্টিমাইজ করবে।

তাদের সম্পূর্ণ আলাদা করুন। জাজকে একটি নতুন সেশন দিন যেখানে ওয়ার্কারের রিজনিং চেইন (reasoning chain) সম্পর্কে কোনো স্মৃতি থাকবে না। তাকে এমন একটি রুব্রিক দিন যা ওয়ার্কার আগে কখনও দেখেনি। সম্ভব হলে, মূল্যায়নের জন্য একটি ভিন্ন মডেল বা অন্তত ভিন্ন কনফিগারেশন ব্যবহার করুন। এটিকে একটি কোডিং ইন্টারভিউয়ের মতো ভাবুন যেখানে প্রার্থী একটি জিপ ফাইল জমা দেয় এবং পরীক্ষক সেটি না দেখেই মূল্যায়ন করেন। যদি প্রার্থী নিজেই গ্রেডিং স্ক্রিপ্ট লিখে থাকে, তবে প্রতিটি সাবমিশনই নিখুঁত স্কোর পাবে।

এই বিভাজন প্রম্পট লিকেজও (prompt leakage) প্রতিরোধ করে। যদি ওয়ার্কার "must handle null values" বা "score above 4.0"-এর মতো শব্দগুলো দেখে ফেলে, তবে সে মূল সমস্যা সমাধানের পরিবর্তে সেই শব্দগুলোর পেছনে ছুটবে। জাজকে ওয়ার্কারের কাছে অদৃশ্য এবং অপ্রত্যাশিত হতে হবে। একবার ওয়ার্কার বুঝে ফেলল যে কীভাবে তার স্কোর করা হবে, আপনি তখনই হেরে গেলেন।

হোল্ড-আউট টেস্ট সেট (Held-out Test Sets) ব্যবহার করুন

দৃশ্যমান টেস্টগুলো এজেন্টকে প্রশিক্ষণ দেয়। লুকানো টেস্টগুলো তাকে মূল্যায়ন করে। আপনার এমন একটি নেস্টেড স্ট্রাকচার প্রয়োজন যা এজেন্টকে উত্তরপত্র না দিয়েও ইটারেট (iterate) করার জন্য যথেষ্ট ফিডব্যাক দেবে।

আমি তিনটি লেয়ার বা স্তর ব্যবহার করি। প্রথমটি হলো ট্রেনিং চেক: দ্রুত এবং সাশ্রয়ী টেস্ট যা এজেন্ট তার লুপ চলাকালীন দেখে। এগুলো সিনট্যাক্স এরর (syntax errors) এবং সামান্য রিগ্রেশন (regressions) শনাক্ত করে এবং ইটারেশন প্রক্রিয়া সচল রাখে।

দ্বিতীয় স্তরটি হলো একটি হিডেন রিগ্রেশন স্যুট (hidden regression suite)। এতে গত ৯০ দিনের প্রকৃত ব্যর্থতাগুলো থাকে যা এজেন্ট প্রশিক্ষণের সময় কখনও দেখেনি। এগুলো কোনো কৃত্রিম এজ কেস (edge cases) নয়। এগুলো প্রোডাকশন থেকে আসা বাস্তব অভিজ্ঞতা, প্রকৃত বাগ (bugs) যা আগের সংস্করণগুলো থেকে ফসকে গিয়েছিল।