GraphRAG మరియు పర్సిస్టెంట్ కాంటెక్స్చువల్ మెమరీ (persistent contextual memory) ఇప్పుడు AI చాట్బాట్లలో అనుసంధానించబడుతున్నాయి, తద్వారా పేజీ రిఫ్రెష్ చేసినా లేదా కొత్త బ్రౌజర్ ట్యాబ్ తెరిచినా సంభాషణ కొనసాగుతుంది. ఈ కలయిక వల్ల "ట్యాబ్-కిల్" (tab-kill) వల్ల కలిగే మరుపు సమస్య తొలగిపోతుందని, ఇది ఇప్పటివరకు చాలా కన్వర్సేషనల్ అసిస్టెంట్స్ ఉపయోగించే వినియోగదారులను విసిగిస్తుందని డెవలపర్లు చెబుతున్నారు.
పాత విధానం ఎందుకు సరిపోదు
చాలా చాట్-ఆధారిత AI వ్యవస్థలు స్టాండర్డ్ రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్ (RAG) పై ఆధారపడతాయి. ఈ పైప్లైన్ ప్రస్తుత ప్రశ్నకు దగ్గరగా ఉండే టెక్స్ట్ ముక్కలను సేకరించి, వాటిని లాంగ్వేజ్ మోడల్కు అందిస్తుంది మరియు సమాధానాన్ని తిరిగి ఇస్తుంది. "ఫ్రాన్స్ రాజధాని ఏది?" వంటి ఒకే ఒక వాస్తవాన్ని తెలుసుకోవడానికి ఈ పద్ధతి బాగా పనిచేస్తుంది.
కానీ RAG ప్రతి యూజర్ ఇన్పుట్ను ఒక విడిగా ఉన్న అభ్యర్థనగా పరిగణిస్తుంది. ఒక ఫాలో-అప్ ప్రశ్న కొన్ని నిమిషాల క్రితం చెప్పబడిన దానిపై ఆధారపడి ఉన్నప్పుడు, ఆ కాంటెక్స్ట్ (context) గురించి మోడల్కు ఎటువంటి జ్ఞాపకశక్తి ఉండదు. దీని ఫలితంగా, చాట్బాట్ మిమ్మల్ని మళ్ళీ చెప్పమని అడగడం లేదా మునుపటి వివరాలను విస్మరించి సమాధానం ఇవ్వడం జరుగుతుంది. ఇక్కడ సమస్య తెలివితేటల కొరత కాదు; అది 'స్టేట్' (state) లేకపోవడం.
GraphRAG: ఫ్లాట్ టెక్స్ట్ను నెట్వర్క్గా మార్చడం
GraphRAG రిట్రీవల్ దశను పునర్నిర్మిస్తుంది. సంబంధం లేని టెక్స్ట్ ముక్కల జాబితాకు బదులుగా, ఇది ఒక గ్రాఫ్ను నిర్మిస్తుంది:
- Nodes వ్యక్తులు, ఉత్పత్తులు లేదా సంఘటనలు వంటి ఎంటిటీలను (entities) సూచిస్తాయి.
- Edges వాటి మధ్య ఉన్న సంబంధాలను గుర్తిస్తాయి—ఎవరు దేనిని సరఫరా చేస్తారు, ఏ ప్రాజెక్ట్ ఏ భాగంపై ఆధారపడి ఉంటుంది, మొదలైనవి.
గ్రాఫ్ కనెక్షన్లను ఎన్కోడ్ చేయడం వల్ల, సిస్టమ్ మల్టీ-హాప్ రీజనింగ్ (multi-hop reasoning) చేయగలదు: ఇది ఫ్లాట్-టెక్స్ట్ సెర్చ్ చేయలేని ప్రశ్నలకు సమాధానం ఇవ్వడానికి, అనేక పత్రాల (documents) ద్వారా వాస్తవాల గొలుసును అనుసరించగలదు. ఇది మొత్తం సబ్-గ్రాఫ్ల సారాంశాలను కూడా రూపొందించగలదు, తద్వారా వినియోగదారులకు విడివిడి ముక్కల కంటే ఒక అంశంపై సంక్షిప్త అవలోకనాన్ని అందిస్తుంది.
కాంటెక్స్చువల్ మెమరీ: సంభాషణను గుర్తుంచుకోవడం
పర్సిస్టెంట్ కాంటెక్స్చువల్ మెమరీ గ్రాఫ్ పైన ఒక టెంపోరల్ లేయర్ను (temporal layer) జోడిస్తుంది. ఇది మూడు భాగాలుగా విభజించబడింది:
- Short-term memory ప్రస్తుత సంభాషణను (turn-by-turn dialogue) నిలుపుకుంటుంది, తద్వారా వినియోగదారు కొన్ని వాక్యాల క్రితం చెప్పిన విషయాన్ని మళ్ళీ చెప్పాల్సిన అవసరం ఉండదు.
- Long-term memory వివిధ సెషన్లలో వినియోగదారుకు సంబంధించిన ఎంపిక చేసిన వాస్తవాలను—అంటే ఇష్టపడే భాష, పదేపదే వచ్చే సమస్యలు లేదా గత కొనుగోళ్లు వంటి వాటిని రికార్డ్ చేస్తుంది.
- Selective memory దేనిని నిలుపుకోవాలో నిర్ణయిస్తుంది, స్టోరేజ్ పెరగకుండా ఉండటానికి అనవసరమైన పదాలను మరియు సంబంధం లేని మాటలను తొలగిస్తుంది.
వినియోగదారు ట్యాబ్ను మూసివేసి తిరిగి వచ్చినప్పుడు, లాంగ్-టర్మ్ స్టోర్ సంబంధిత నేపథ్యాన్ని (background) బయటపెడుతుంది, తద్వారా చాట్బాట్ చివరి సెషన్ ఎక్కడ ఆగిపోయిందో అక్కడి నుండి సంభాషణను కొనసాగించగలదు.
ఏ సాధనాన్ని ఎప్పుడు ఉపయోగించాలి
- తక్కువ ప్రాధాన్యత ఉన్న సాధారణ వాస్తవాల తనిఖీల కోసం స్టాండర్డ్ RAGని ఉపయోగించండి.
- తప్పు సమాధానం వల్ల నష్టం ఎక్కువగా ఉన్నప్పుడు, లేదా సమాధానం కోసం బహుళ పత్రాలలో విస్తరించి ఉన్న సమాచారాన్ని అనుసంధానించాల్సి వచ్చినప్పుడు GraphRAGని ఉపయోగించండి.
- అప్లికేషన్ తిరిగి వచ్చే వినియోగదారులను గుర్తించాల్సి ఉన్నా లేదా రోజులు లేదా వారాల పాటు వ్యక్తిగత సంభాషణను కొనసాగించాల్సి ఉన్నా కాంటెక్స్చువల్ మెమరీని జోడించండి.
ఈ లేయర్లను నిర్మించడం అనేది సులభమైన పని కాదు. సోర్స్ డేటా మారినప్పుడు GraphRAG ఇండెక్స్ను రిఫ్రెష్ చేయాలి మరియు మెమరీ స్టోరేజ్ ఖర్చుకు, సంబంధితతకు (relevance) మధ్య సమతుల్యతను పాటించే విధానాలు అవసరం. ప్రతి మాటను నిల్వ చేయడం వంటి అతిగా సమాచారాన్ని సేకరించడం వల్ల రిట్రీవల్ వేగం తగ్గిపోతుంది మరియు మోడల్ అనవసరమైన సమాచారంతో (noise) నిండిపోతుంది.
లాభనష్టాల సమతుల్యత
కాంటెక్స్చువల్ మెమరీ మర్చిపోవడం అనే సమస్యను పరిష్కరిస్తుంది. అయితే దీనిలోని ప్రతికూలత ఆపరేషనల్: లైవ్ గ్రాఫ్ మరియు సెలెక్టివ్ మెమరీ క్యాచీని నిర్వహించడానికి నిరంతర ఇంజనీరింగ్ కృషి అవసరం.
తదుపరి గమనించవలసినవి
ముఖ్య అంశం (Takeaway): GraphRAG సంబంధిత వెన్నెముకను (relational backbone) అందిస్తే, పర్సిస్టెంట్ కాంటెక్స్చువల్ మెమరీ సమయానికి సంబంధించిన అనుసంధానాన్ని (temporal glue) అందిస్తుంది. ఇవి రెండూ కలిసి చాట్బాట్లు ట్యాబ్లు మరియు సెషన్ల మధ్య సంభాషణను కొనసాగించేలా చేస్తాయి, తద్వారా విసుగు కలిగించే రీసెట్ను ఒక సాఫీగా సాగే సంభాషణగా మారుస్తాయి.