नॉलेज ग्राफ्स: RAG सिस्टम्स में गायब कड़ी

अधिकांश RAG सिस्टम एक सरल मार्ग का अनुसरण करते हैं। दस्तावेज़ों को चंक्स (chunks) में विभाजित किया जाता है। चंक्स एम्बेडिंग्स (embeddings) में बदल जाते हैं। एम्बेडिंग्स एक वेक्टर डेटाबेस में रहते हैं। सिमिलरिटी सर्च (similarity search) टेक्स्ट ढूँढता है। LLM उत्तर देता है।

यह कई चैटबॉट्स के लिए काम करता है। यह समान टेक्स्ट खोजने के लिए अच्छा काम करता है। लेकिन जब आपको संबंधों (relationships) को समझने की आवश्यकता होती है, तो यह विफल हो जाता है।

वेक्टर डेटाबेस उन चीज़ों को ढूँढते हैं जो दिखने में समान होती हैं। वे यह नहीं समझते कि चीज़ें आपस में कैसे जुड़ी हुई हैं।

इन तथ्यों को देखें:

  • React का उपयोग Project A में किया जाता है।
  • Project A एक RAG सिस्टम का उपयोग करता है।
  • RAG सिस्टम ChromaDB का उपयोग करता है।

एक इंसान लिंक देख सकता है: React से Project A, फिर RAG, और फिर ChromaDB तक का संबंध। एक वेक्टर डेटाबेस टेक्स्ट के चार अलग-अलग टुकड़ों को देखता है।

यदि आप वेक्टर सर्च से पूछते हैं "कौन से प्रोजेक्ट्स React और AI का उपयोग करते हैं?", तो इसे कठिनाई हो सकती है। यह उन शब्दों वाले दस्तावेज़ों को ढूँढता है। यह उनके बीच के मार्ग (path) का अनुसरण नहीं करता है।

यहीं पर नॉलेज ग्राफ्स मदद करते हैं। एक नॉलेज ग्राफ एंटिटीज (entities) और उनके कनेक्शन को स्टोर करता है। यह कॉन्सेप्ट्स के बीच के लिंक को मैप करता है।

आपको अपने वेक्टर डेटाबेस को बदलने की ज़रूरत नहीं है। आपको दोनों का उपयोग करना चाहिए। इसे Graph-RAG कहा जाता है।

वेक्टर स्टोर सिमेंटिक रिट्रीवल (semantic retrieval) को संभालता है। ग्राफ स्टोर रिलेशनशिप रिट्रीवल (relationship retrieval) को संभालता है। साथ मिलकर, वे आपके AI एजेंट को बेहतर कॉन्टेक्स्ट (context) प्रदान करते हैं।

ग्राफ लेयर का उपयोग तब करें जब आपके डेटा में शामिल हो:

  • टेक्निकल डॉक्स (Technical docs)
  • रिसर्च नोट्स (Research notes)
  • प्रोडक्ट मैनुअल (Product manuals)
  • एंटरप्राइज नॉलेज (Enterprise knowledge)

उपयोगकर्ता ऐसे एजेंट चाहते हैं जो केवल दस्तावेज़ खोजने से कहीं अधिक काम कर सकें। वे ऐसे एजेंट चाहते हैं जो विचारों को जोड़ सकें। वे ऐसे एजेंट चाहते हैं जो डिपेंडेंसीज़ (dependencies) को समझा सकें।

केवल सर्च करने वाले सिस्टम बनाना बंद करें। तर्क करने वाले (reasoning) सिस्टम बनाना शुरू करें।

स्रोत: https://dev.to/vishdevwork/knowledge-graphs-the-missing-piece-in-most-rag-systems-1j75

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi