MCP + RAG: मी गुंतागुंतीची RAG सिस्टिम्स बनवणे का थांबवले

मी चार वर्षे गुंतागुंतीची RAG सिस्टिम्स बनवण्यात घालवली.

मी chunking strategies, embedding models, vector databases आणि rerankers वापरले. मी माझ्या १,८०० तासांच्या नॉलेज बेससाठी एक सिस्टिम तयार केली. प्रत्येक वेळी मला वाटायचे की मी ती परिपूर्ण बनवत आहे.

ती कधीच व्यवस्थित चालली नाही.

मग मी Model Context Protocol (MCP) सपोर्ट जोडला. त्याने सर्व काही बदलून टाकले. MCP मुळे बहुतेक लोकांसाठी पारंपारिक गुंतागुंतीची RAG आता अनावश्यक ठरली आहे.

मला या समस्यांशी लढावे लागत असे:

  • semantic किंवा recursive chunking मधून निवड करणे.
  • OpenAI, Cohere किंवा Nomic embeddings मधून निवड करणे.
  • Pinecone, Weaviate किंवा Chroma मधून निवड करणे.
  • top-k retrieval आणि reranking व्यवस्थापित करणे.

माझी RAG सिस्टिम २,००० ओळींच्या कोडपर्यंत पोहोचली होती. ती प्रभावी होती पण ती अपयशी ठरली. AI आधीच हुशार असताना मी माझ्या डेटाला हुशार बनवण्याचा प्रयत्न करत होतो.

मी MCP दृष्टिकोनाकडे वळलो. मी फक्त १५० ओळींच्या कोडसह एक सर्व्हर तयार केला.

मी AI ला फक्त दोन टूल्स दिले:

  • search_notes: नोट्स शोधण्यासाठी साध्या text matching चा वापर करते.
  • get_note_content: नोटचा पूर्ण मजकूर परत करते.

कोणतेही chunks नाहीत. कोणतेही गुंतागुंतीचे embeddings नाहीत. कोणतेही vector databases नाहीत.

हा साधा दृष्टिकोन माझ्या चकचकीत RAG सिस्टिमपेक्षा १० पैकी ९ वेळा सरस ठरतो. त्याची कारणे खालीलप्रमाणे आहेत:

१. AI लॉजिक हाताळते. आधीच सेट केलेल्या chunker पेक्षा काय संबंधित आहे हे ठरवण्यात AI अधिक सक्षम आहे. २. पूर्ण संदर्भ (Full context). पारंपारिक RAG नोट्सचे लहान तुकडे करते. यामुळे अनेकदा उत्तर मिळत नाही. MCP सह, AI संपूर्ण नोट वाचते. त्याला संपूर्ण कल्पना समजते. ३. निश्चितता (Predictability). टेक्स्ट सर्च सोपे आहे. जर कीवर्ड उपलब्ध असेल, तर ते काम करते. यामुळे तुम्ही embedding drift आणि dimension errors टाळू शकता.

तुम्ही पारंपारिक RAG तेव्हाच वापरले पाहिजे जर:

  • तुमच्याकडे १,००,००० पेक्षा जास्त मोठी कागदपत्रे असतील.
  • तुम्हाला कमी लॅटन्सीसह (low latency) हाय-स्केल प्रोडक्शन हवे असेल.

परंतु वैयक्तिक नॉलेज बेस, साईड प्रोजेक्ट्स किंवा अंतर्गत टूल्ससाठी, तुम्हाला त्याची गरज नाही.

MCP चे फायदे:

  • देखभालीसाठी सोपे: २,००० ऐवजी फक्त १५० ओळी.
  • एम्बेडिंगचा खर्च नाही: मॉडेल्स बदलल्यावर तुम्हाला डेटा पुन्हा एम्बेड करण्याची गरज नाही.
  • अधिक अचूकता: AI ला पूर्ण संदर्भ मिळतो.
  • डीबग करणे सोपे: सर्च का अयशस्वी झाले हे तुम्ही नेमके पाहू शकता.

ओव्हर-इंजिनिअरिंग करणे थांबवा. कष्टाचे काम AI ला करू द्या. त्याला तुमच्या डेटाचा ॲक्सेस द्या आणि त्याला वाचू द्या.

Source: https://dev.to/kevinten10/mcp-rag-why-i-stopped-building-complex-rag-systems-after-mcp-changed-everything-4g86

Optional learning community: https://t.me/GyaanSetuAi