నాలెడ్జ్ గ్రాఫ్స్: RAG సిస్టమ్స్‌లో లోపించిన కీలక అంశం

చాలా RAG సిస్టమ్స్ ఒక సాధారణ మార్గాన్ని అనుసరిస్తాయి. డాక్యుమెంట్లు చంక్స్‌గా (chunks) మారుతాయి. చంక్స్ ఎంబెడ్డింగ్స్‌గా (embeddings) మారుతాయి. ఎంబెడ్డింగ్స్ వెక్టర్ డేటాబేస్‌లో ఉంటాయి. సిమిలారిటీ సెర్చ్ (Similarity search) టెక్స్ట్‌ను కనుగొంటుంది. LLM సమాధానాన్ని ఇస్తుంది.

ఇది చాలా చాట్‌బాట్‌లకు ఉపయోగపడుతుంది. ఒకే రకమైన టెక్స్ట్‌ను కనుగొనడానికి ఇది బాగా పనిచేస్తుంది. కానీ సంబంధాలను (relationships) అర్థం చేసుకోవాల్సి వచ్చినప్పుడు ఇది విఫలమవుతుంది.

వెక్టర్ డేటాబేస్‌లు ఒకేలా కనిపించే అంశాలను కనుగొంటాయి. అంశాల మధ్య ఉన్న అనుసంధానాన్ని (connections) అవి అర్థం చేసుకోలేవు.

ఈ వాస్తవాలను గమనించండి:

  • Project Aలో React ఉపయోగించబడుతుంది.
  • Project A ఒక RAG సిస్టమ్‌ను ఉపయోగిస్తుంది.
  • ఆ RAG సిస్టమ్ ChromaDBని ఉపయోగిస్తుంది.

ఒక మనిషి ఈ లింక్‌ను చూడగలడు: React ద్వారా Project Aకి, దాని ద్వారా RAGకి, మరియు దాని ద్వారా ChromaDBకి అనుసంధానం ఉంది. కానీ వెక్టర్ డేటాబేస్ వీటిని నాలుగు వేర్వేరు టెక్స్ట్ ముక్కలుగా మాత్రమే చూస్తుంది.

మీరు వెక్టర్ సెర్చ్‌ను "ఏ ప్రాజెక్ట్‌లు React మరియు AIని ఉపయోగిస్తున్నాయి?" అని అడిగితే, అది ఇబ్బంది పడవచ్చు. అది కేవలం ఆ పదాలు ఉన్న డాక్యుమెంట్ల కోసం మాత్రమే వెతుకుతుంది. వాటి మధ్య ఉన్న మార్గాన్ని (path) అది అనుసరించదు.

ఇక్కడే నాలెడ్జ్ గ్రాఫ్స్ సహాయపడతాయి. నాలెడ్జ్ గ్రాఫ్ అనేది ఎంటిటీలను (entities) మరియు వాటి మధ్య ఉన్న అనుసంధానాలను నిల్వ చేస్తుంది. ఇది కాన్సెప్ట్‌ల మధ్య ఉన్న లింక్‌లను మ్యాప్ చేస్తుంది.

మీరు మీ వెక్టర్ డేటాబేస్‌ను మార్చాల్సిన అవసరం లేదు. మీరు రెండింటినీ ఉపయోగించాలి. దీనినే Graph-RAG అంటారు.

వెక్టర్ స్టోర్ సెమాంటిక్ రిట్రీవల్ (semantic retrieval)ను నిర్వహిస్తుంది. గ్రాఫ్ స్టోర్ రిలేషన్‌షిప్ రిట్రీవల్ (relationship retrieval)ను నిర్వహిస్తుంది. ఇవి రెండూ కలిసి మీ AI ఏజెంట్‌కు మెరుగైన కాంటెక్స్ట్‌ను అందిస్తాయి.

మీ డేటాలో ఇవి ఉన్నప్పుడు గ్రాఫ్ లేయర్‌ను ఉపయోగించండి:

  • Technical docs
  • Research notes
  • Product manuals
  • Enterprise knowledge

వినియోగదారులు కేవలం డాక్యుమెంట్లు వెతకడమే కాకుండా, అంతకంటే ఎక్కువ చేసే ఏజెంట్‌లను కోరుకుంటారు. ఆలోచనలను అనుసంధానించే ఏజెంట్‌లను వారు కోరుకుంటారు. డిపెండెన్సీలను (dependencies) వివరించగలిగే ఏజెంట్‌లను వారు కోరుకుంటారు.

కేవలం సెర్చ్ చేసే సిస్టమ్స్‌ను నిర్మించడం ఆపివేయండి. తార్కికంగా ఆలోచించే (reasoning) సిస్టమ్స్‌ను నిర్మించడం ప్రారంభించండి.

Source: https://dev.to/vishdevwork/knowledge-graphs-the-missing-piece-in-most-rag-systems-1j75

Optional learning community: https://t.me/GyaanSetuAi