𝗧𝗵𝗲 𝗧𝗲𝗹𝗹 𝗪𝗲 𝗧𝗿𝗮𝗶𝗻𝗲𝗱 𝗢𝘂𝘁

যে লক্ষণটি আমরা প্রশিক্ষণ দিয়ে মুছে ফেলেছি

বেশিরভাগ মানুষ ভয় পান যে AI জানে না কখন সে ভুল করছে। তারা চিন্তিত থাকেন যে একটি মডেল অত্যন্ত আত্মবিশ্বাসের সাথে কোনো আদালতের মামলা বা ওষুধের মাত্রা বানিয়ে ফেলতে পারে। তারা মনে করেন যে মেশিনের নিজের অজ্ঞতা সম্পর্কে কোনো ধারণা নেই।

বাস্তবতা ভিন্ন। মডেলগুলো সাধারণত জানে। আমরা তাদের এটি লুকিয়ে রাখতে প্রশিক্ষণ দিয়েছি।

গবেষণা একটি স্পষ্ট প্যাটার্ন দেখায়। OpenAI রিপোর্ট করেছে যে বেস মডেলগুলো (base models) বেশ ভালোভাবে ক্যালিব্রেটেড (calibrated)। যদি একটি বেস মডেল কোনো উত্তরের ক্ষেত্রে ৭০ শতাংশ সম্ভাবনা নির্ধারণ করে, তবে এটি প্রায় ৭০ শতাংশ সময় সঠিক হয়। এটি তার নিজের সীমাবদ্ধতা জানে।

সমস্যাটি শুরু হয় অ্যালাইনমেন্ট ট্রেনিংয়ের (alignment training) সময়। এটি এমন একটি প্রক্রিয়া যা একটি টেক্সট প্রেডিক্টরকে (text predictor) একটি সহায়ক চ্যাটবটে রূপান্তরিত করে। এই প্রশিক্ষণ ক্যালিব্রেশন নষ্ট করে দেয়।

র (raw) মডেলটি তার গণিতের মাধ্যমে সততার সাথে অনিশ্চয়তা প্রকাশ করে। অ্যালাইনমেন্ট ট্রেনিং মডেলটি কীভাবে কথা বলবে তা পরিবর্তন করে দেয়। এটি দুটি জিনিসের মধ্যে একটি ব্যবধান তৈরি করে:

• বিশ্বাস (Belief): অভ্যন্তরীণ গণিত এবং সম্ভাবনা।
• পারফরম্যান্স (Performance): মডেলটি কথা বলার সময় যেভাবে শোনায়।

বিশ্বাস সংখ্যার মধ্যে থাকে। পারফরম্যান্স হলো কর্তৃত্বপূর্ণ শোনানোর একটি শেখা পদ্ধতি।

কেন এমন হয়? আমরা এই মডেলগুলোকে প্রশিক্ষণ দিতে মানুষের ফিডব্যাক (human feedback) ব্যবহার করি। মানুষ সাধারণত সেই উত্তরগুলোকে পুরস্কৃত করতে পছন্দ করে যা আত্মবিশ্বাসী শোনায়। একটি রিওয়ার্ড মডেল (reward model) আত্মবিশ্বাসী উত্তরের জন্য উচ্চতর স্কোর দিতে শেখে। এমনকি একটি উত্তর ভুল হলেও, আত্মবিশ্বাসী সুর বেশি পয়েন্ট অর্জন করে।

অপ্টিমাইজেশন (Optimization) এই প্যাটার্নটি খুঁজে পায়। মডেলটি শেখে যে দ্বিধা প্রকাশ করা বা সন্দেহ স্বীকার করা মানে পুরস্কার হারানো। ভালো স্কোর পাওয়ার জন্য এটি নিশ্চিতভাবে কথা বলার ভঙ্গি বেছে নেয়।

এই অতি-আত্মবিশ্বাস হলো প্রতিকারটির একটি পার্শ্বপ্রতিক্রিয়া। প্রশিক্ষণ মডেলটিকে আরও নিরাপদ এবং কথা বলার জন্য সহজ করে তোলে, কিন্তু এটি মডেলটিকে তার সন্দেহ লুকিয়ে রাখতেও বাধ্য করে।

এটি সমস্যাটি সমাধানের পদ্ধতি বদলে দেয়। আমাদের মডেলগুলোকে নতুন কোনো দৃষ্টিশক্তি দেওয়ার প্রয়োজন নেই। সেই দৃষ্টিশক্তি গণিতের মধ্যেই বিদ্যমান। আমাদের শুধু সেই আত্মবিশ্বাসী গদ্যকে পুরস্কৃত করা বন্ধ করতে হবে যা আসলে সেই আত্মবিশ্বাসের যোগ্য নয়।

যখন আপনি AI থেকে কোনো আত্মবিশ্বাসী উত্তর পড়বেন, একটি কথা মনে রাখবেন। সেই আত্মবিশ্বাস হলো কথা বলার একটি ভঙ্গি মাত্র। শব্দের নিচে, একটি সংখ্যা সম্ভবত বিষয়টি আরও ভালোভাবে জানত। আমরা শুধু মডেলটিকে সেই সংখ্যাটি নিজের কাছেই চেপে রাখতে শিখিয়েছি।

Source: https://dev.to/thesythesis/the-tell-we-trained-out-2dg8

Optional learning community: https://t.me/GyaanSetuAi