𝗥𝗔𝗚 𝗣𝗶𝗽𝗲𝗹𝗶𝗻𝗲: 𝗧𝗵𝗲 𝗨𝗻𝗰𝗹𝗲-𝗡𝗲𝗽𝗵𝗲𝘄 𝗚𝘂𝗶𝗱𝗲
AI ला अंदाज लावण्यास सांगणे थांबवा. त्याला तथ्ये (facts) देणे सुरू करा.
बहुतेक लोकांना वाटते की AI ला सर्व काही माहित आहे. तसे नाहीये. प्रशिक्षणादरम्यान (training) त्याने जे शिकले आहे, तेवढेच त्याला माहित असते. जर तुम्ही त्याला तुमच्या कंपनीच्या खाजगी डेटाबद्दल विचारले, तर तो 'हॅलुसिनेट' (hallucinate) करेल. तो आत्मविश्वासाने तुम्हाला खोटे सांगेल.
Retrieval-Augmented Generation (RAG) ही समस्या सोडवते.
AI ला स्मृतीतून (memory) उत्तर देण्यास सांगण्याऐवजी, तुम्ही तीन पायऱ्यांचे अनुसरण करता:
• Retrieval: योग्य कागदपत्रे शोधा. • Augmentation: ती कागदपत्रे तुमच्या प्रॉम्प्टमध्ये (prompt) जोडा. • Generation: केवळ त्या कागदपत्रांच्या आधारे AI ला उत्तर देण्यास सांगा.
प्रोडक्शन-ग्रेड (production-grade) RAG सिस्टम तयार करण्यासाठी, तुम्हाला केवळ साध्या स्क्रिप्टपेक्षा जास्त काहीतरी लागेल. तुम्हाला इंजिनिअरिंगची गरज आहे.
एका विश्वसनीय सिस्टमसाठी हा आहे ब्लूप्रिंट (blueprint):
Data Preparation संपूर्ण कागदपत्रे एम्बेड (embed) करू नका. त्यांचे तुकडे (chunks) करा. 1000-1500 टोकन्स आणि 200-टोकन ओव्हरलॅपसह 'स्लाइडिंग विंडो' (sliding window) पद्धत वापरा. यामुळे संदर्भ (context) कायम राहतो.
The Storage Stack गुंतागुंतीच्या नवीन इन्फ्रास्ट्रक्चर टाळा. pgvector एक्सटेंशनसह PostgreSQL वापरा. हे तुम्हाला तुमचा डेटा आणि तुमचे वेक्टर एम्बेडिंग्स (vector embeddings) एका विश्वसनीय ठिकाणी साठवण्याची परवानगी देते.
Hybrid Search वेक्टर सर्च संकल्पनांसाठी (concepts) उत्तम आहे पण अचूक तथ्यांसाठी (exact facts) नाही. वेक्टर सर्चला कीवर्ड सर्चसोबत (keyword search) जोडा. यामुळे तुम्हाला अर्थपूर्ण अर्थ (semantic meaning) आणि अचूकता (precision) दोन्ही मिळतात.
Reranking वेक्टर सर्च वेगवान आहे पण त्यात गोंधळ (noise) असू शकतो. दोन टप्प्यांची प्रक्रिया वापरा. पहिल्या टप्प्यात टॉप 20 निकाल शोधण्यासाठी वेगवान मॉडेल वापरा आणि नंतर सर्वोत्तम 5 निवडण्यासाठी अधिक अचूक रिरँकर (reranker) वापरा.
Preventing Hallucinations संरक्षणाचे हे पाच स्तर वापरा: • तुमच्या प्रॉम्प्टमध्ये कडक रिट्रिव्हल मर्यादा (retrieval boundaries) सेट करा. • स्ट्रक्चर्ड JSON आउटपुट वापरा. • AI ने खरोखर दिलेल्या पुराव्यांचा वापर केला आहे की नाही याची पडताळणी करा. • कॉन्फिडन्स गेटिंग (confidence gating) लागू करा. • AI ला संदर्भ (citations) देण्यास भाग पाडा.
RAG ही जादू नाही. ते इंजिनिअरिंग आहे. हे स्पष्ट डेटा, सिद्ध नमुने (proven patterns) आणि सततच्या मोजमापाबद्दल आहे.
अंदाज नाही, तर पुरावे देणाऱ्या सिस्टम तयार करा.
Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4
Optional learning community: https://t.me/GyaanSetuAi