এন্টারপ্রাইজ এআই প্রকল্পগুলোর একটি নির্দিষ্ট প্যাটার্ন রয়েছে। একটি দল একটি প্রোটোটাইপ তৈরি করে। ডেমোটি দেখতে চিত্তাকর্ষক লাগে। তারপর, তিন মাস পরে, ত

এন্টারপ্রাইজ এআই (Enterprise AI) প্রজেক্টগুলোর একটি নির্দিষ্ট ধরন বা প্যাটার্ন রয়েছে। একটি টিম একটি প্রোটোটাইপ তৈরি করে। ডেমোটি দেখতে বেশ চিত্তাকর্ষক মনে হয়। তারপর, তিন মাস পর, সিস্টেমটি ভেঙে পড়তে শুরু করে। উত্তরের মান বিচ্যুত হতে থাকে। খরচ বাড়তে থাকে। একজন কমপ্লায়েন্স অফিসার যখন জিজ্ঞেস করেন যে একটি নির্দিষ্ট উত্তর কোথা থেকে এসেছে, তখন ঘরের কেউ তা বলতে পারে না।

এই বিপর্যয় খুব কমই খারাপ কোডের কারণে শুরু হয়। এটি শুরু হয় একটি মাত্র আর্কিটেকচারাল সিদ্ধান্তের মাধ্যমে, যাকে অনেকটা জনপ্রিয়তার লড়াই হিসেবে দেখা হয়: Retrieval-Augmented Generation বনাম fine-tuning।

RAG এবং fine-tuning একই পণ্যের দুটি সংস্করণ নয়। এগুলো মৌলিকভাবে ভিন্ন দুটি টুল। একটি নিয়ন্ত্রণ করে মডেল কী দেখতে পারে। অন্যটি নিয়ন্ত্রণ করে মডেল কীভাবে আচরণ করবে। কাজের জন্য ভুলটি বেছে নিলে তা প্রোটোটাইপে ধরা পড়বে না। এটি পরে ধরা পড়বে, যখন ব্যবসাটি এর ওপর ভিত্তি করে চলতে শুরু করবে।

ডেমো ট্র্যাপ

একটি জেনারেটিভ এআই (generative AI) ফিচার দ্রুত বাজারে আনার চাপ অনেক বেশি থাকে। টিমগুলো প্রায়ই এমন একটি পদ্ধতি বেছে নেয় কারণ তারা সেটি কোনো ভালো টিউটোরিয়ালে দেখেছে অথবা কোনো ভেন্ডরের স্লাইড ডেক দেখে মনে হয়েছে যে এটি খুব সহজ। ইনফ্রাস্ট্রাকচার সংক্রান্ত সিদ্ধান্ত নেওয়ার জন্য এটি একটি অত্যন্ত ভুল পদ্ধতি।

একটি নিয়ন্ত্রিত ডেমোতে fine-tuned মডেল জাদুকরী মনে হতে পারে। এটি আপনার কোম্পানির নিজস্ব ঢঙে কথা বলে এবং আপনার পণ্যের নাম চিনতে পারে। একটি RAG পাইপলাইনও জাদুকরী মনে হতে পারে। এটি এমন একটি ডকুমেন্ট সম্পর্কে প্রশ্নের উত্তর দিতে পারে যার ওপর এটিকে কখনও প্রশিক্ষণ দেওয়া হয়নি। কিন্তু ডেমোটি এর অপারেশনাল বাস্তবতা লুকিয়ে রাখে। যদি আপনার প্রাইসিং ডেটা প্রতি সপ্তাহে পরিবর্তিত হয় এবং আপনি গত প্রান্তিকের (last quarter) তথ্যের ওপর fine-tune করে থাকেন, তবে মডেলটি আত্মবিশ্বাসের সাথে পুরনো বা ভুল তথ্য দেবে। যদি আপনার সাপোর্ট টিমের প্রতিটি উত্তরের জন্য একটি নির্দিষ্ট পলিসি PDF-এর সূত্র প্রয়োজন হয়, তবে একটি fine-tuned মডেল আপনাকে কোনো ফুটনোট (footnote) দেবে না। এটি কেবল আপনাকে টেক্সট দেবে।

RAG আসলে কী বোঝায়

RAG এর পূর্ণরূপ হলো Retrieval-Augmented Generation, কিন্তু নামটি এটিকে যতটা জটিল নয় তার চেয়ে বেশি জটিল বলে মনে করায়। এর মূল বিষয় হলো, RAG একটি প্রশ্নের উত্তর দেয়: মডেলটির এই মুহূর্তে কী খোঁজা প্রয়োজন?

একজন কাস্টমার সার্ভিস এজেন্টের কথা কল্পনা করুন যাকে একটি টিকিটের উত্তর দেওয়ার আগে কোম্পানির উইকি (wiki) সার্চ করার অনুমতি দেওয়া হয়েছে। RAG ঠিক সেটিই করে, তবে স্বয়ংক্রিয়ভাবে। যখন একজন ব্যবহারকারী প্রশ্ন করেন, সিস্টেমটি একটি ভেক্টর ডেটাবেস (vector database) বা ডকুমেন্ট স্টোরে প্রাসঙ্গিক টেক্সট চঙ্ক (chunks) খোঁজে। তারপর এটি সেই চঙ্কগুলোকে মূল প্রশ্নের সাথে কনটেক্সট (context) হিসেবে ল্যাঙ্গুয়েজ মডেলের কাছে পাঠিয়ে দেয়। মডেলটি প্রাপ্ত প্রমাণের ভিত্তিতে একটি উত্তর তৈরি করে।

এই পদ্ধতিটি তখনই সবচেয়ে কার্যকর হয় যখন আপনার নলেজ বেস (knowledge base) মডেলের বাইরে থাকে। প্রোডাক্ট ডকুমেন্টেশন, আইনি নথি, চিকিৎসা গবেষণা এবং ইনভেন্টরি স্প্রেডশিট—সবই প্রতিনিয়ত পরিবর্তিত হয়। RAG একটি মাত্র ওয়েট (weight) পুনরায় প্রশিক্ষণ (retraining) না দিয়েই মডেলটিকে আপ-টু-ডেট রাখে। এটি একটি স্বাভাবিক অডিট ট্রেইলও (audit trail) তৈরি করে। যেহেতু আপনি জানেন কোন ডকুমেন্টগুলো ব্যবহার করা হয়েছে, তাই আপনি একজন অডিটর বা রেগুলেটরকে স্পষ্টভাবে দেখাতে পারেন যে উত্তরটি ঠিক কোথা থেকে এসেছে।

Fine-Tuning আসলে কী বোঝায়

Fine-tuning অন্য একটি প্রশ্নের উত্তর দেয়: মডেলটির আচরণ কেমন হওয়া উচিত?

মডেলটিকে বাহ্যিক পড়ার উপকরণ দেওয়ার পরিবর্তে, আপনি উদাহরণ দিয়ে এটিকে শেখান। আপনি আপনার কাঙ্ক্ষিত আউটপুটের শত শত বা হাজার হাজার উদাহরণ সংগ্রহ করেন এবং সেই ডেটার ওপর বেস মডেলটিকে (base model) প্রশিক্ষণ দেওয়া চালিয়ে যান। এই প্রক্রিয়াটি আসলে মডেলের অভ্যন্তরীণ প্যারামিটারগুলো (internal parameters) সমন্বয় করে। এটি ওয়েটগুলো (weights) পরিবর্তন করে দেয়।

এর ফলে এমন একটি মডেল তৈরি হয় যা প্যাটার্নগুলোকে অভ্যন্তরীণভাবে আয়ত্ত করে নেয়।