𝗥𝗔𝗚 𝗣𝗶𝗽𝗲𝗹𝗶𝗻𝗲: 𝗧𝗵𝗲 𝗨𝗻𝗰𝗹𝗲-𝗡𝗲𝗽𝗵𝗲𝘄 𝗚𝘂𝗶𝗱𝗲
AI से अंदाज़ा लगाने के लिए कहना बंद करें। उसे तथ्य देना शुरू करें।
ज़्यादातर लोगों को लगता है कि AI सब कुछ जानता है। ऐसा नहीं है। वह केवल वही जानता है जो उसने ट्रेनिंग के दौरान सीखा है। यदि आप उससे अपनी निजी कंपनी के डेटा के बारे में पूछेंगे, तो वह hallucinate (भ्रमित) हो जाएगा। वह पूरे आत्मविश्वास के साथ आपसे झूठ बोलेगा।
Retrieval-Augmented Generation (RAG) इसे ठीक करता है।
AI से याददाश्त के आधार पर उत्तर देने के बजाय, आप तीन चरणों का पालन करते हैं:
• Retrieval: सही दस्तावेज़ ढूँढें। • Augmentation: उन दस्तावेज़ों को अपने प्रॉम्प्ट में जोड़ें। • Generation: AI को केवल उन्हीं दस्तावेज़ों के आधार पर उत्तर देने दें।
एक प्रोडक्शन-ग्रेड RAG सिस्टम बनाने के लिए, आपको केवल एक साधारण स्क्रिप्ट से कहीं अधिक की आवश्यकता है। आपको इंजीनियरिंग की आवश्यकता है।
एक विश्वसनीय सिस्टम के लिए ब्लूप्रिंट यहाँ दिया गया है:
Data Preparation पूरे दस्तावेज़ों को एम्बेड (embed) न करें। उन्हें छोटे टुकड़ों (chunks) में तोड़ें। 1000-1500 टोकन और 200-टोकन ओवरलैप के साथ एक 'स्लाइडिंग विंडो' दृष्टिकोण का उपयोग करें। यह संदर्भ (context) को बरकरार रखता है।
The Storage Stack जटिल नए इंफ्रास्ट्रक्चर से बचें। pgvector एक्सटेंशन के साथ PostgreSQL का उपयोग करें। यह आपको अपने डेटा और अपने वेक्टर एम्बेडिंग्स को एक ही विश्वसनीय स्थान पर स्टोर करने की अनुमति देता है।
Hybrid Search वेक्टर सर्च अवधारणाओं (concepts) के लिए बेहतरीन है लेकिन सटीक तथ्यों के लिए खराब है। वेक्टर सर्च को कीवर्ड सर्च के साथ जोड़ें। यह आपको अर्थपूर्ण अर्थ (semantic meaning) और सटीक परिशुद्धता (precision) दोनों प्रदान करता है।
Reranking वेक्टर सर्च तेज़ है लेकिन इसमें शोर (noise) हो सकता है। दो चरणों वाली प्रक्रिया का उपयोग करें। शीर्ष 20 परिणाम खोजने के लिए एक तेज़ मॉडल का उपयोग करें, फिर सर्वश्रेष्ठ 5 चुनने के लिए अधिक सटीक रीरैंकर का उपयोग करें।
Preventing Hallucinations सुरक्षा की इन पांच परतों का उपयोग करें: • अपने प्रॉम्प्ट में सख्त रिट्रीवल सीमाएं (retrieval boundaries) निर्धारित करें। • स्ट्रक्चर्ड JSON आउटपुट का उपयोग करें। • सत्यापित करें कि AI ने वास्तव में दिए गए साक्ष्यों का उपयोग किया है। • कॉन्फिडेंस गेटिंग (confidence gating) लागू करें। • AI को साइटेशन (citations) प्रदान करने के लिए मजबूर करें।
RAG कोई जादू नहीं है। यह इंजीनियरिंग है। यह स्पष्ट डेटा, सिद्ध पैटर्न और निरंतर माप के बारे में है।
ऐसे सिस्टम बनाएं जो अनुमान नहीं, बल्कि साक्ष्य प्रदान करें।
Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4
Optional learning community: https://t.me/GyaanSetuAi