অনুমান সম্পর্কে একটি দ্রুতগতির LLM আমাকে কী শিখিয়েছে

আমি একটি জটিল কাজের জন্য এক ঘণ্টা ধরে একটি সস্তা ও দ্রুতগতির LLM চালিয়েছিলাম। এটি ব্যর্থ হয়নি।

বেশিরভাগ মানুষ মনে করেন যে দুর্বল মডেলগুলো দীর্ঘমেয়াদী কাজে ব্যর্থ হয়। তারা লক্ষ্যচ্যুত হয় বা মাঝপথে হাল ছেড়ে দেয়। কিন্তু এই মডেলটি সঠিক পথে ছিল। এটি সম্ভব হয়েছে কারণ আমি তাকে ডেলিভারেবলস (deliverables)-এর একটি তালিকা দিয়েছিলাম।

আমি ভেবেছিলাম এই ডেলিভারেবলসগুলো নির্ভুলতা বজায় রাখতে সাহায্য করবে। আমি ভুল ছিলাম।

একটি গবেষণা দেখায় যে ডেলিভারেবলস একটি মডেলকে আরও নির্ভুল করে তোলে না। বরং তারা একটি মডেলকে আরও যাচাইযোগ্য (verifiable) করে তোলে। মডেলটি তার কাজের ডকুমেন্টেশন আরও ভালোভাবে করে। এটি আপনার যাচাই করার জন্য প্রমাণ রেখে যায়।

সফটওয়্যারে দুই ধরনের ত্রুটি থাকে:

  • Execution errors: একটি কমা বদলে যাওয়া বা কোনো এজ কেস (edge case) বাদ পড়া। আপনি এগুলো টেস্ট এবং লিন্টিং-এর মাধ্যমে ঠিক করতে পারেন।
  • Assumption errors: ভুল জায়গায় একটি বাউন্ডারি বা সীমানা নির্ধারণ করা। এটি সংশোধন করা অনেক বেশি কঠিন।

প্রসেস বা প্রক্রিয়া কার্যকরী ত্রুটি সমাধানে সাহায্য করে। এটি অনুমানজনিত ত্রুটি সমাধান করে না। আপনি এবং মডেল যদি একই অন্ধবিন্দু (blind spot) শেয়ার করেন, তবে আপনার রিভিউও ব্যর্থ হবে।

AI এই ত্রুটিগুলোর হিসাব বদলে দিচ্ছে।

অতীতে, মানুষ ধীরে ধীরে ভুল করত। এটি আপনাকে ভুলটি লক্ষ্য করার সময় দিত। এখন, AI দ্রুত ভুল করে। আপনি লক্ষ্য করার আগেই একটি মডেল একটি ভুল অনুমানের ওপর ভিত্তি করে তিন ঘণ্টার নিখুঁত কোড তৈরি করে ফেলতে পারে।

একটি মডেল যত বেশি সক্ষম বলে মনে হয়, আপনি তাকে তত বেশি বিশ্বাস করেন। আপনি তাকে দীর্ঘক্ষণ চলতে দেন। আপনি ঘন ঘন পরীক্ষা করা কমিয়ে দেন। এটি একটি ফাঁদ। একটি ভুল অনুমান কোনো সতর্কবার্তা দেয় না। এটি শেষ মুহূর্ত পর্যন্ত অগ্রগতির মতোই মনে হয়।

ইন্ডাস্ট্রি আরও বেশি প্রসেসের মাধ্যমে এটি ঠিক করার চেষ্টা করে। আমরা আরও বেশি স্পেসিফিকেশন এবং পরিকল্পনা যোগ করি। এটি কেবল অতিরিক্ত কাজের বোঝা (overhead) তৈরি করে। এটি আসলে একটি অনুমানজনিত সমস্যার জন্য একটি কার্যকরী টুল মাত্র।

আমাদের মডেল কতবার সঠিক হচ্ছে তা পরিমাপ করা বন্ধ করতে হবে। আমাদের পরিমাপ করতে হবে একটি ভুল অনুমান ধরা পড়ার আগে কতক্ষণ টিকে থাকে।

প্রোডাকশনে, আমরা একে বলি MTTD: Mean Time To Detect।

আমরা প্রতিটি ত্রুটি রোধ করতে পারি না। আমরা কেবল ত্রুটিগুলো সংশোধন করা সাশ্রয়ী করতে পারি। আপনি এটি করতে পারেন ত্রুটিগুলো দ্রুত শনাক্ত করার মাধ্যমে।

লক্ষ্য কেবল একটি আরও বুদ্ধিমান মডেল খুঁজে পাওয়া নয়। লক্ষ্য হলো এটি সিদ্ধান্ত নেওয়া যে কোন জায়গাগুলোতে আপনার এখনও নিয়ন্ত্রণ বজায় রাখা প্রয়োজন।

Source: https://dev.to/g_correa/what-a-fast-llm-taught-me-about-assumptions-oe

Optional learning community: https://t.me/GyaanSetuAi