മൾട്ടി-ഹോപ്പ് റീസണിംഗ് (Multi-Hop Reasoning) മനസ്സിലാക്കാം

വെക്റ്റർ ഡാറ്റാബേസുകൾ സെമാന്റിക് സെർച്ചിനായി (semantic search) പ്രവർത്തിക്കുന്നു. എന്നാൽ ആളുകൾ, സിസ്റ്റങ്ങൾ, സംഭവങ്ങൾ എന്നിവയ്ക്കിടയിലുള്ള മൾട്ടി-സ്റ്റെപ്പ് റീസണിംഗിൽ അവയ്ക്ക് ബുദ്ധിമുട്ടുകൾ നേരിടുന്നുണ്ട്.

സ്റ്റാൻഡേർഡ് RAG ഗണിതശാസ്ത്രത്തിന്റെ അടിസ്ഥാനത്തിൽ ടെക്സ്റ്റ് ചങ്കുകൾ (text chunks) വീണ്ടെടുക്കുന്നു. ഇത് ഡാറ്റാ പോയിന്റുകൾ തമ്മിലുള്ള ബന്ധങ്ങൾ കാണാതെ പോകുന്നു. GraphRAG ഇത് പരിഹരിക്കുന്നു. ഇത് Large Language Models-നെ ഒരു ലൈവ് നോളജ് ഗ്രാഫുമായി (knowledge graph) ബന്ധിപ്പിക്കുന്നു.

ഒരു Text-Attributed Graph നോഡുകളും (nodes) എഡ്ജുകളും (edges) ഉപയോഗിക്കുന്നു.

  • നോഡുകൾ എന്നത് ഉപയോക്താക്കൾ അല്ലെങ്കിൽ ഉൽപ്പന്നങ്ങൾ പോലുള്ള എൻ്റേറ്റികളാണ് (entities).
  • എഡ്ജുകൾ എന്നത് "IMPACTS" അല്ലെങ്കിൽ "CLONED_FROM" പോലുള്ള ബന്ധങ്ങളാണ്.
  • ഒരു "ഹോപ്പ്" (hop) എന്നാൽ ഒരു എഡ്ജ് വഴി ഒരു നോഡിൽ നിന്ന് മറ്റൊന്നിലേക്ക് മാറുന്നതാണ്.

ഒരു ഒറ്റപ്പെട്ട ഡോക്യുമെന്റിലും ഇല്ലാത്ത ബന്ധങ്ങൾ കണ്ടെത്താൻ മൾട്ടി-ഹോപ്പ് റീസണിംഗിന് സാധിക്കുന്നു.

ഉദാഹരണം: ഒരു ഉപയോക്താവ് ചോദിക്കുന്നു, "എനിക്ക് എങ്ങനെ CSV അപ്‌ലോഡ് എറർ പരിഹരിക്കാം?"

സ്റ്റാൻഡേർഡ് RAG കീവേഡുകൾക്കായി തിരയുന്നു. ഇത് ഒരു പഴയ FAQ അല്ലെങ്കിൽ ഒരു ബഗ് റിപ്പോർട്ട് നൽകിയേക്കാം. ഇത് ബിസിനസ്സ് കോൺടെക്സ്റ്റ് (business context) കാണാതെ പോകുന്നു.

GraphRAG കൃത്യമായ പാത കണ്ടെത്തുന്നു: (User Bug Report) -> [CLONED_FROM] -> (Master Engineering Ticket) -> [HAS_RESOLUTION] -> (Patch Deployed).

ഇത് LLM-ന് വെറുമൊരു ഊഹം എന്നതിന് പകരം ശരിവെക്കപ്പെട്ട ഘട്ടങ്ങൾ നൽകുന്നു.

നിങ്ങൾക്ക് രണ്ട് രീതികളിലൂടെ ഇത് നിയന്ത്രിക്കാം:

  1. ഡെപ്ത്ത് ട്രാവേഴ്സൽ (Depth Traversal) പ്രത്യേക വിവരങ്ങളിലേക്ക് ആഴത്തിൽ ഇറങ്ങിച്ചെല്ലാൻ ഇത് ഉപയോഗിക്കുക. റൂട്ട്-കോസ് അനാലിസിസിന് (root-cause analysis) ഇത് ഉപകാരപ്രദമാണ്. Cypher-ൽ, നിങ്ങൾ ഹോപ്പുകളുടെ ഒരു പരിധി നിശ്ചയിക്കുന്നു. ഒരു ബഗിന്റെ റീപ്രൊഡക്ഷൻ സ്റ്റെപ്പുകൾ കണ്ടെത്താൻ ഒരു ക്വറിക്ക് 1 മുതൽ 5 ലെയറുകൾ വരെ ആഴത്തിൽ പരിശോധിക്കാവുന്നതാണ്.

  2. ബ്രെഡ്ത്ത് ട്രാവേഴ്സൽ (Breadth Traversal) മുഴുവൻ ഇക്കോസിസ്റ്റവും കാണാൻ ഇത് ഉപയോഗിക്കുക. ഇത് എല്ലാ അടുത്ത ബന്ധങ്ങളും കാണുന്നതിനായി തിരശ്ചീനമായി (horizontally) വികസിക്കുന്നു. ഒരു ഉൽപ്പന്നത്തെ ബാധിക്കുന്ന എല്ലാ സപ്പോർട്ട് ടിക്കറ്റുകളും ഒരേസമയം കാണാൻ ഇത് നിങ്ങളെ സഹായിക്കുന്നു.

അഡ്വാൻസ്ഡ് AI നിർമ്മിക്കാൻ, ഈ ക്വറികൾ ഹാർഡ്-കോഡ് ചെയ്യരുത്. ഒരു മൾട്ടി-ഏജന്റ് സിസ്റ്റം ഉപയോഗിക്കുക:

  • കോർഡിനേറ്റർ ഏജന്റ് (The Coordinator Agent): ഈ ഏജന്റ് ക്വറി പ്ലാൻ ചെയ്യുന്നു. ചോദ്യത്തിന് ബ്രെഡ്ത്ത് ആവശ്യമാണോ ഡെപ്ത്ത് ആവശ്യമാണോ എന്ന് ഇത് തീരുമാനിക്കുന്നു. ഇത് ഉപയോക്താവിന്റെ പ്രോംപ്റ്റിനെ ഗ്രാഫ് ക്വറിക്കായുള്ള ഒരു ഗണിതശാസ്ത്ര പാരാമീറ്ററായി മാറ്റുന്നു.
  • റിക്കേഴ്‌സീവ് റിട്രീവൽ ഏജന്റ് (The Recursive Retrieval Agent): ഡാറ്റാബേസ് നോഡുകൾ കണ്ടെത്തുമ്പോൾ ഈ ഏജന്റ് അവ വിലയിരുത്തുന്നു. LLM കാണുന്നതിന് മുമ്പ് ഇത് പ്രധാനപ്പെട്ട ഡാറ്റ നിലനിർത്തുകയും അനാവശ്യ വിവരങ്ങൾ (noise) നീക്കം ചെയ്യുകയും ചെയ്യുന്നു.

ഈ ആർക്കിടെക്ചർ അന്വേഷണങ്ങൾ വിപുലീകരിക്കാൻ കഴിയുന്ന സിസ്റ്റങ്ങൾ നിർമ്മിക്കുന്നു. വെക്റ്റർ സെർച്ചിന് നൽകാൻ കഴിയാത്ത പൂർണ്ണമായ ഉത്തരങ്ങൾ ഇതിലൂടെ നിങ്ങൾക്ക് ലഭിക്കുന്നു.

Source: https://dev.to/imhyke/understanding-multi-hop-reasoning-how-graph-databases-traverse-data-for-ai-31ml

Optional learning community: https://t.me/GyaanSetuAi