Knowledge Graphs: RAG ਸਿਸਟਮਾਂ ਵਿੱਚ ਗੁੰਮ ਹੋਈ ਕੜੀ

ਜ਼ਿਆਦਾਤਰ RAG ਸਿਸਟਮ ਇੱਕ ਸਧਾਰਨ ਮਾਰਗ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ। ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਚੰਕਸ (chunks) ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਚੰਕਸ ਐਂਬੈਡਿੰਗਸ (embeddings) ਵਿੱਚ ਬਦਲ ਜਾਂਦੇ ਹਨ। ਐਂਬੈਡਿੰਗਸ ਇੱਕ ਵੈਕਟਰ ਡੇਟਾਬੇਸ ਵਿੱਚ ਰਹਿੰਦੇ ਹਨ। ਸਮਾਨਤਾ ਸਰਚ (Similarity search) ਟੈਕਸਟ ਲੱਭਦੀ ਹੈ। LLM ਜਵਾਬ ਦਿੰਦਾ ਹੈ।

ਇਹ ਬਹੁਤ ਸਾਰੇ ਚੈਟਬੋਟਸ ਲਈ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਸਮਾਨ ਟੈਕਸਟ ਲੱਭਣ ਲਈ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ। ਪਰ ਜਦੋਂ ਤੁਹਾਨੂੰ ਰਿਸ਼ਤਿਆਂ (relationships) ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਇਹ ਅਸਫਲ ਰਹਿੰਦਾ ਹੈ।

ਵੈਕਟਰ ਡੇਟਾਬੇਸ ਉਹ ਚੀਜ਼ਾਂ ਲੱਭਦੇ ਹਨ ਜੋ ਦੇਖਣ ਵਿੱਚ ਸਮਾਨ ਲੱਗਦੀਆਂ ਹਨ। ਉਹ ਇਹ ਨਹੀਂ ਸਮਝਦੇ ਕਿ ਚੀਜ਼ਾਂ ਇੱਕ ਦੂਜੇ ਨਾਲ ਕਿਵੇਂ ਜੁੜੀਆਂ ਹੋਈਆਂ ਹਨ।

ਇਹਨਾਂ ਤੱਥਾਂ ਨੂੰ ਦੇਖੋ:

  • React ਦੀ ਵਰਤੋਂ Project A ਵਿੱਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
  • Project A ਇੱਕ RAG ਸਿਸਟਮ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
  • RAG ਸਿਸਟਮ ChromaDB ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।

ਇੱਕ ਇਨਸਾਨ ਲਿੰਕ ਦੇਖਦਾ ਹੈ: React, Project A ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ, ਜੋ RAG ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ, ਜੋ ChromaDB ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਵੈਕਟਰ ਡੇਟਾਬੇਸ ਟੈਕਸਟ ਦੇ ਚਾਰ ਵੱਖਰੇ ਹਿੱਸੇ ਦੇਖਦਾ ਹੈ।

ਜੇਕਰ ਤੁਸੀਂ ਵੈਕਟਰ ਸਰਚ ਨੂੰ ਪੁੱਛਦੇ ਹੋ "ਕਿਹੜੇ ਪ੍ਰੋਜੈਕਟ React ਅਤੇ AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ?", ਤਾਂ ਇਸਨੂੰ ਮੁਸ਼ਕਲ ਆ ਸਕਦੀ ਹੈ। ਇਹ ਉਹਨਾਂ ਸ਼ਬਦਾਂ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਲੱਭਦਾ ਹੈ। ਇਹ ਉਹਨਾਂ ਦੇ ਵਿਚਕਾਰਲੇ ਮਾਰਗ ਦੀ ਪਾਲਣਾ ਨਹੀਂ ਕਰਦਾ।

ਇੱਥੇ Knowledge Graphs ਮਦਦ ਕਰਦੇ ਹਨ। ਇੱਕ Knowledge Graph entities ਅਤੇ ਉਹਨਾਂ ਦੇ ਸੰਬੰਧਾਂ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਇਹ ਸੰਕਲਪਾਂ (concepts) ਵਿਚਕਾਰਲੇ ਲਿੰਕਾਂ ਦਾ ਨਕਸ਼ਾ ਤਿਆਰ ਕਰਦਾ ਹੈ।

ਤੁਹਾਨੂੰ ਆਪਣੇ ਵੈਕਟਰ ਡੇਟਾਬੇਸ ਨੂੰ ਬਦਲਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਤੁਹਾਨੂੰ ਦੋਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਇਸਨੂੰ Graph-RAG ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਵੈਕਟਰ ਸਟੋਰ semantic retrieval ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਗ੍ਰਾਫ ਸਟੋਰ relationship retrieval ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਇਕੱਠੇ ਮਿਲ ਕੇ, ਉਹ ਤੁਹਾਡੇ AI agent ਨੂੰ ਬਿਹਤਰ ਸੰਦਰਭ (context) ਦਿੰਦੇ ਹਨ।

ਗ੍ਰਾਫ ਲੇਅਰ ਦੀ ਵਰਤੋਂ ਉਦੋਂ ਕਰੋ ਜਦੋਂ ਤੁਹਾਡੇ ਡੇਟਾ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਵੇ:

  • Technical docs
  • Research notes
  • Product manuals
  • Enterprise knowledge

ਉਪਭੋਗਤਾ ਅਜਿਹੇ agents ਚਾਹੁੰਦੇ ਹਨ ਜੋ ਸਿਰਫ਼ ਦਸਤਾਵੇਜ਼ ਲੱਭਣ ਤੋਂ ਵੱਧ ਕੁਝ ਕਰ ਸਕਣ। ਉਹ ਅਜਿਹੇ agents ਚਾਹੁੰਦੇ ਹਨ ਜੋ ਵਿਚਾਰਾਂ ਨੂੰ ਜੋੜ ਸਕਣ। ਉਹ ਅਜਿਹੇ agents ਚਾਹੁੰਦੇ ਹਨ ਜੋ ਨਿਰਭਰਤਾਵਾਂ (dependencies) ਦੀ ਵਿਆਖਿਆ ਕਰ ਸਕਣ।

ਅਜਿਹੇ ਸਿਸਟਮ ਬਣਾਉਣਾ ਬੰਦ ਕਰੋ ਜੋ ਸਿਰਫ਼ ਸਰਚ ਕਰਦੇ ਹਨ। ਅਜਿਹੇ ਸਿਸਟਮ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰੋ ਜੋ ਤਰਕ (reason) ਕਰ ਸਕਦੇ ਹਨ।

ਸਰੋਤ: https://dev.to/vishdevwork/knowledge-graphs-the-missing-piece-in-most-rag-systems-1j75

ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਭਾਈਚਾਰਾ: https://t.me/GyaanSetuAi