RAG পাইপলাইন: আঙ্কেল-নেফিউ গাইড
AI-কে অনুমান করতে বলা বন্ধ করুন। একে তথ্য দেওয়া শুরু করুন।
বেশিরভাগ মানুষ মনে করেন AI সবকিছু জানে। কিন্তু তা নয়। এটি কেবল প্রশিক্ষণের সময় যা শিখেছে তা-ই জানে। আপনি যদি আপনার কোম্পানির ব্যক্তিগত ডেটা সম্পর্কে একে জিজ্ঞাসা করেন, তবে এটি 'হ্যালুসিনেশন' (hallucinate) করবে। এটি অত্যন্ত আত্মবিশ্বাসের সাথে আপনাকে মিথ্যা বলবে।
Retrieval-Augmented Generation (RAG) এই সমস্যার সমাধান করে।
AI-কে স্মৃতি থেকে উত্তর দিতে না বলে, আপনি তিনটি ধাপ অনুসরণ করবেন:
• Retrieval: সঠিক ডকুমেন্ট খুঁজে বের করা। • Augmentation: সেই ডকুমেন্টগুলো আপনার প্রম্পটে যুক্ত করা। • Generation: শুধুমাত্র সেই ডকুমেন্টগুলোর ওপর ভিত্তি করে AI-কে উত্তর দিতে দেওয়া।
একটি প্রোডাকশন-গ্রেড (production-grade) RAG সিস্টেম তৈরি করতে কেবল একটি সাধারণ স্ক্রিপ্ট যথেষ্ট নয়। আপনার প্রয়োজন ইঞ্জিনিয়ারিং।
একটি নির্ভরযোগ্য সিস্টেমের ব্লুপ্রিন্ট নিচে দেওয়া হলো:
Data Preparation পুরো ডকুমেন্ট এমবেড (embed) করবেন না। সেগুলোকে ছোট ছোট চাঙ্কে (chunks) ভাগ করুন। ১০০০-১৫০০ টোকেন এবং ২০০ টোকেন ওভারল্যাপসহ একটি 'স্লাইডিং উইন্ডো' (sliding window) পদ্ধতি ব্যবহার করুন। এটি কনটেক্সট বা প্রেক্ষাপট অক্ষুণ্ণ রাখে।
The Storage Stack জটিল নতুন ইনফ্রাস্ট্রাকচার এড়িয়ে চলুন। pgvector এক্সটেনশনসহ PostgreSQL ব্যবহার করুন। এটি আপনাকে আপনার ডেটা এবং আপনার ভেক্টর এমবেডিং একটি নির্ভরযোগ্য স্থানে সংরক্ষণ করতে সাহায্য করবে।
Hybrid Search ভেক্টর সার্চ ধারণার (concepts) জন্য দারুণ, কিন্তু সঠিক তথ্যের জন্য নয়। ভেক্টর সার্চের সাথে কিওয়ার্ড সার্চের সমন্বয় করুন। এটি আপনাকে সিম্যান্টিক অর্থ এবং সঠিক নির্ভুলতা—উভয়ই প্রদান করবে।
Reranking ভেক্টর সার্চ দ্রুত কিন্তু এতে অনেক অপ্রাসঙ্গিক তথ্য (noise) থাকতে পারে। একটি দ্বি-স্তরীয় প্রক্রিয়া ব্যবহার করুন। সেরা ২০টি ফলাফল খুঁজে পেতে একটি দ্রুত মডেল ব্যবহার করুন, তারপর সেরা ৫টি বেছে নিতে আরও নির্ভুল একটি র র্যাঙ্কার (reranker) ব্যবহার করুন।
Preventing Hallucinations সুরক্ষার জন্য এই পাঁচটি স্তর ব্যবহার করুন: • আপনার প্রম্পটে কঠোর রিট্রিভাল বা তথ্য সংগ্রহের সীমানা নির্ধারণ করুন। • স্ট্রাকচার্ড JSON আউটপুট ব্যবহার করুন। • AI প্রকৃতপক্ষে প্রদত্ত প্রমাণ ব্যবহার করেছে কি না তা যাচাই করুন। • কনফিডেন্স গেটিং (confidence gating) প্রয়োগ করুন। • AI-কে অবশ্যই সাইটেশন (citations) বা তথ্যসূত্র প্রদান করতে বাধ্য করুন।
RAG কোনো জাদু নয়। এটি ইঞ্জিনিয়ারিং। এটি পরিষ্কার ডেটা, প্রমাণিত প্যাটার্ন এবং ক্রমাগত পরিমাপের বিষয়।
এমন সিস্টেম তৈরি করুন যা অনুমান নয়, বরং প্রমাণ প্রদান করে।
Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4
Optional learning community: https://t.me/GyaanSetuAi