LLM-এর হ্যালুসিনেশন মোকাবিলায় প্রিসিশন ইঞ্জিনিয়ারিংয়ের মাধ্যমে Probably ৯ মিলিয়ন ডলার সংগ্রহ করেছে
লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) যেভাবে পেশাদার কাজের ধারার (workflows) সাথে ক্রমশ মিশে যাচ্ছে, শিল্পখাতটি একটি নিরন্তর বাধার সম্মুখীন হচ্ছে: এমনকি সবচেয়ে উন্নত মডেলগুলোরও হ্যালুসিনেশন করার প্রবণতা। স্টার্টআপ Probably এই চ্যালেঞ্জটি সরাসরি মোকাবিলা করছে; AI-এর নির্ভরযোগ্যতার জন্য আরও কঠোর এবং ডিটারমিনিস্টিক (deterministic) পদ্ধতি তৈরির লক্ষ্যে তারা Andreessen Horowitz-এর নেতৃত্বে ৯ মিলিয়ন ডলার সিড ফান্ডিং সংগ্রহ করেছে।
৯৯.৯৯% নির্ভুলতার দিকে যাত্রা
প্রতিষ্ঠাতা পিটার ইলিয়াসের নেতৃত্বে Probably-এর মূল লক্ষ্য হলো LLM-এর প্রোবাবিলিস্টিক (probabilistic) প্রকৃতি এবং ডিটারমিনিস্টিক সিস্টেমের কাছ থেকে প্রত্যাশিত ৯৯.৯৯% নির্ভুলতার মানের মধ্যে ব্যবধান কমিয়ে আনা। উচ্চ-ঝুঁকিপূর্ণ পরিবেশে একটি মাত্র তথ্যগত ভুল একটি AI টুলকে অকেজো করে দিতে পারে। এটি সমাধানের জন্য, Probably এই ধারণা থেকে সরে আসছে যে নির্ভুলতা শুধুমাত্র মডেলের আকারের ওপর নির্ভর করে; পরিবর্তে তারা "হারনেস ইঞ্জিনিয়ারিং" (harness engineering)-এর ওপর গুরুত্ব দিচ্ছে।
কোম্পানির ফ্ল্যাগশিপ প্রোডাক্ট হলো একটি ডেটা সায়েন্স টুল, যা জটিল ডেটাসেট থেকে ইনসাইট বের করার জন্য ডিজাইন করা হয়েছে। সাধারণ চ্যাটবটগুলোর মতো কথোপকথনমূলক উত্তর দেওয়ার পরিবর্তে, Probably-এর টুল প্রতিটি উত্তরের সাথে একটি নির্দিষ্ট সাইটেশন (citation) এবং একটি স্বচ্ছ অডিট ট্রেইল (audit trail) প্রদান করে, যা ব্যবহারকারীদের প্রতিটি আউটপুটের পেছনের যুক্তি যাচাই করার সুযোগ দেয়।
"ডেটা সায়েন্স মেক স্যুট" আর্কিটেকচার
একটি বিশাল মডেলের রিজনিং বা যুক্তিবোধের ক্ষমতার ওপর পুরোপুরি নির্ভর না করে, Probably এমন একটি পদ্ধতি ব্যবহার করে যাকে ইলিয়াস "ডেটা সায়েন্স মেক স্যুট" (data science mech suit) বলে অভিহিত করেছেন। এই আর্কিটেকচারটি একটি বিস্তৃত হারনেস সিস্টেম হিসেবে কাজ করে যেখানে LLM-এর প্রাথমিক আউটপুটটি অবিলম্বে একটি ডিটারমিনিস্টিক ভ্যালিডেটর (deterministic validator) দ্বারা যাচাই করা হয়।
যদি LLM এমন কোনো ফলাফল প্রদান করে যা অন্তর্নিহিত ডেটাসেটের সাথে নিখুঁতভাবে মেলে না, তবে ভ্যালিডেটর সেটি প্রত্যাখ্যান করে। গুরুত্বপূর্ণ বিষয় হলো, LLM-কে বিশেষভাবে এই ভ্যালিডেটরটির বিপরীতে প্রশিক্ষণ দেওয়া হয়, যা গতি এবং তথ্যের নির্ভুলতার জন্য অপ্টিমাইজ করা একটি ক্লোজড-লুপ সিস্টেম তৈরি করে। এই পদ্ধতিটি একটি মৌলিক নীতির ওপর ভিত্তি করে কাজ করে: ইঞ্জিনিয়ারিংয়ের মাধ্যমে কনটেক্সট উন্নত করে এবং অস্পষ্টতা কমিয়ে আপনি বিশাল কম্পিউটেশনাল ব্রুট ফোর্স ছাড়াই মডেলটিকে "সঠিক কাজটি করতে" বাধ্য করতে পারেন।
ছোট এবং লোকাল মডেলের মাধ্যমে দক্ষতা
Probably-এর পদ্ধতির অন্যতম উল্লেখযোগ্য প্রযুক্তিগত প্রভাব হলো ছোট এবং আরও দক্ষ মডেল ব্যবহারের সক্ষমতা। যেহেতু "মেক স্যুট" ভ্যালিডেশন এবং কনটেক্সট রিফাইনমেন্টের মতো কঠিন কাজগুলো সামলে নেয়, তাই সিস্টেমটি এমন মডেলের ওপর ভিত্তি করে কাজ করতে পারে যা "ফ্রন্টিয়ার মডেলগুলোর তুলনায় চার ধাপ দুর্বল।"
এই পরিবর্তনের ব্যাপক অর্থনৈতিক এবং কার্যক্রমগত সুবিধা রয়েছে:
- টোকেন খরচ হ্রাস: ছোট মডেলগুলো প্রতি কুয়েরি খরচ উল্লেখযোগ্যভাবে কমিয়ে দেয়, যা এন্টারপ্রাইজগুলোর এআই (AI) বাজেট অপ্টিমাইজ করার ক্ষেত্রে একটি গুরুত্বপূর্ণ বিষয়।
- লোকাল এক্সিকিউশন: এই হালকা মডেলগুলো ব্যয়বহুল এবং উচ্চ-ল্যাটেন্সি (high-latency) ডেটা সেন্টার সংযোগের পরিবর্তে ডেস্কটপ কম্পিউটারের মতো লোকাল হার্ডওয়্যারে চলতে পারে।
- স্কেলেবিলিটি: এই ইঞ্জিনটি ডেটা সায়েন্সের বাইরে অ্যাকাউন্টিং এবং চিকিৎসা পরিষেবার মতো সূক্ষ্মতা-সংবেদনশীল (precision-sensitive) ক্ষেত্রেও সম্প্রসারণযোগ্য করার জন্য ডিজাইন করা হয়েছে।
বড় এআই ল্যাবগুলোর ইনসেনটিভ মডেলকে চ্যালেঞ্জ জানানো
ইলিয়াস বর্তমান এআই (AI) প্রেক্ষাপটে একটি কাঠামোগত অসামঞ্জস্যের কথা উল্লেখ করেছেন: বড় এআই ল্যাবগুলো বিশাল, সাধারণ-উদ্দেশ্যমূলক (general-purpose) মডেল তৈরির জন্য উৎসাহিত হয় যেগুলোতে প্রায়ই ব্যবহারকারীর সংশোধনের প্রয়োজন হয়। যেহেতু এই ল্যাবগুলো প্রায়শই টোকেন ব্যবহারের ওপর ভিত্তি করে চার্জ করে, তাই বেশি ভুল এবং বেশি ফলো-আপ কুয়েরি আসলে তাদের রাজস্ব বাড়িয়ে দিতে পারে। স্কেলের পরিবর্তে ইঞ্জিনিয়ারিংয়ের মাধ্যমে সূক্ষ্মতা এবং "অস্পষ্টতা কমানোর" দিকে মনোনিবেশ করে, Probably মিশন-ক্রিটিক্যাল এআই অ্যাপ্লিকেশনের জন্য একটি বিশেষ স্থান তৈরি করছে যেখানে নির্ভরযোগ্যতাই একমাত্র গুরুত্বপূর্ণ মাপকাঠি।
মূল বিষয়সমূহ
- ডিটারমিনিস্টিক ভ্যালিডেশন: Probably একটি "mech suit" আর্কিটেকচার ব্যবহার করে একটি ডিটারমিনিস্টিক ভ্যালিডেশনের মাধ্যমে LLM আউটপুট পরীক্ষা করে, যার লক্ষ্য হলো ৯৯.৯৯% নির্ভুলতা অর্জন করা।
- সাশ্রয়ী ইঞ্জিনিয়ারিং: উন্নত কনটেক্সট ইঞ্জিনিয়ারিংয়ের মাধ্যমে অস্পষ্টতা কমিয়ে, সিস্টেমটি অনেক ছোট এবং সস্তা মডেলের ওপর চলতে পারে যা লোকাল হার্ডওয়্যারে কাজ করতে সক্ষম।
- সূক্ষ্মতার ওপর প্রথম গুরুত্ব: এই প্রযুক্তিটি এআই-কে চিকিৎসা এবং অর্থায়নের মতো উচ্চ-ঝুঁকিপূর্ণ এবং সূক্ষ্মতা-সংবেদনশীল শিল্পে নিয়ে যাওয়ার জন্য ডিজাইন করা হয়েছে, যেখানে হ্যালুসিনেশন (hallucinations) বা ভুল তথ্য গ্রহণযোগ্য নয়।