GraphRAG आणि persistent contextual memory आता AI चॅटबॉट्समध्ये जोडले जात आहेत, जेणेकरून पेज रिफ्रेश केल्यावर किंवा नवीन ब्राउझर टॅब उघडल्यावरही संभाषण सुरू राहू शकेल. बहुतेक संवादात्मक सहाय्यकांच्या (conversational assistants) वापरकर्त्यांना येणारा 'tab-kill' विसरण्याचा त्रास या संयोगामुळे दूर होईल, असे डेव्हलपर्स सांगतात.

जुनी पद्धत अपुरी का पडते

बहुतेक चॅट-आधारित AI सिस्टम्स मानक Retrieval-Augmented Generation (RAG) वर अवलंबून असतात. ही पाइपलाइन सध्याच्या प्रश्नाशी संबंधित मजकूर तुकडे (text fragments) शोधते, ते लँग्वेज मॉडेलला देते आणि उत्तर परत करते. 'फ्रान्सची राजधानी कोणती आहे?' सारख्या एका तथ्यासाठी (single-fact lookup) ही पद्धत चांगली काम करते.

परंतु RAG प्रत्येक युजर इनपुटला एक स्वतंत्र विनंती मानतो. जेव्हा एखादा फॉलो-अप काही मिनिटांपूर्वी बोललेल्या गोष्टीवर अवलंबून असतो, तेव्हा मॉडेलकडे त्या संदर्भाची (context) कोणतीही स्मृती नसते. परिणामी, चॅटबॉट तुम्हाला पुन्हा पुन्हा सांगायला लावतो किंवा आधीच्या तपशीलांकडे दुर्लक्ष करून उत्तर देतो. ही समस्या बुद्धिमत्तेच्या अभावामुळे नाही; तर ती 'स्टेट'च्या (state) अभावामुळे आहे.

GraphRAG: सपाट मजकुराचे नेटवर्कमध्ये रूपांतर

GraphRAG माहिती शोधण्याच्या (retrieval) टप्प्याला एक नवीन आकार देते. असंबद्ध मजकूर तुकड्यांच्या यादीऐवजी, ते एक ग्राफ (graph) तयार करते:

  • Nodes व्यक्ती, उत्पादने किंवा घटनांसारख्या घटकांचे (entities) प्रतिनिधित्व करतात.
  • Edges त्यांच्यातील संबंध दर्शवतात—कोण काय पुरवते, कोणता प्रकल्प कोणत्या घटकावर अवलंबून आहे, इत्यादी.

ग्राफमध्ये संबंधांची नोंद असल्याने, सिस्टम 'multi-hop reasoning' करू शकते: ती एका साध्या मजकूर शोधण्याद्वारे (flat-text search) न सुटणाऱ्या प्रश्नाचे उत्तर देण्यासाठी अनेक कागदपत्रांमधील तथ्यांची साखळी शोधू शकते. ते संपूर्ण सब-ग्राफ्सचे सारांश देखील तयार करू शकते, ज्यामुळे वापरकर्त्यांना विखुरलेल्या माहितीऐवजी विषयाचा संक्षिप्त आढावा मिळतो.

Contextual memory: संभाषण लक्षात ठेवणे

Persistent contextual memory ग्राफवर एक कालबद्ध स्तर (temporal layer) जोडते. याचे तीन भाग पडतात:

  • Short-term memory सध्याचा संवाद टप्प्याटप्प्याने साठवून ठेवते, जेणेकरून वापरकर्त्याला काही वाक्यंपूर्वी सांगितलेला मुद्दा पुन्हा सांगण्याची गरज पडणार नाही.
  • Long-term memory विविध सेशन्समध्ये वापरकर्त्याबद्दलची निवडक तथ्ये नोंदवते—जसे की पसंतीची भाषा, वारंवार येणाऱ्या समस्या किंवा मागील खरेदी.
  • Selective memory काय साठवायचे हे ठरवते, माहितीचा साठा अनावश्यकपणे वाढू नये म्हणून अनावश्यक शब्द आणि निरर्थक गप्पा काढून टाकते.

जेव्हा एखादा वापरकर्ता टॅब बंद केल्यानंतर परत येतो, तेव्हा long-term store संबंधित पार्श्वभूमी समोर आणू शकते, ज्यामुळे चॅटबॉट शेवटच्या सेशनपासून संभाषण पुढे नेऊ शकतो.

कोणते साधन कधी वापरावे

  • साध्या तथ्य तपासणीसाठी (fact checks) मानक RAG वापरा, जिथे एखादा संबंध सुटल्यास होणारे नुकसान कमी आहे.
  • जेव्हा चुकीच्या उत्तराचा परिणाम मोठा असू शकतो किंवा जेव्हा उत्तरासाठी अनेक कागदपत्रांमध्ये पसरलेली माहिती जोडणे आवश्यक असते, तेव्हा GraphRAG वापरा.
  • जर ॲप्लिकेशनला परत येणाऱ्या वापरकर्त्यांना ओळखणे किंवा दिवस किंवा आठवड्यांच्या कालावधीत वैयक्तिक संवाद टिकवून ठेवणे आवश्यक असेल, तर contextual memory जोडा.

ही स्तर तयार करणे ही केवळ 'plug-and-play' प्रक्रिया नाही. मूळ डेटा बदलल्यास GraphRAG इंडेक्स रिफ्रेश करावा लागतो आणि मेमरी स्टोअरमध्ये सुसंगतता आणि स्टोरेज खर्च यांचा समतोल राखणारी धोरणे असणे आवश्यक आहे. अतिरेकी साठवणूक—प्रत्येक शब्द साठवणे—जलद गतीने माहिती शोधण्याच्या प्रक्रियेला मंद करते आणि मॉडेलला गोंधळात टाकू शकते.

Trade-off

Contextual Memory विसरण्याच्या समस्येवर उपाय शोधते. मात्र, याचा तोटा कार्यात्मक (operational) आहे: लाइव्ह ग्राफ आणि सिलेक्टिव्ह मेमरी कॅशे राखण्यासाठी सतत इंजिनिअरिंग प्रयत्नांची आवश्यकता असते.

पुढील लक्ष देण्यासारख्या गोष्टी

Takeaway: GraphRAG संबंधांचा कणा (relational backbone) पुरवते, तर persistent contextual memory कालबद्ध जोडणी (temporal glue) पुरवते. एकत्र येऊन ते चॅटबॉट्सना टॅब आणि सेशन्समध्ये संभाषण सुरू ठेवण्यास मदत करतात, ज्यामुळे त्रासदायक रिसेटऐवजी एक अखंड संवाद साधता येतो.