𝗛𝗼𝘄 𝗥𝗔𝗚 𝗥𝗲𝗱𝘂𝗰𝗲𝘀 𝗔𝗜 𝗛𝗮𝗹𝗹𝘂𝗰𝗶𝗻𝗮𝘁𝗶𝗼𝗻𝘀 𝗯𝘆 𝟴𝟱%

AI తరచుగా తప్పుడు సమాచారాన్ని సృష్టిస్తుంది. దీనినే 'హాలూసినేషన్' (hallucination) అంటారు.

Retrieval Augmented Generation (RAG) ఈ సమస్యను పరిష్కరిస్తుంది. ఇది AI ఊహించి చెప్పడాన్ని నిలిపివేసి, వాస్తవాలను చూడమని నిర్బంధిస్తుంది.

Pinecone నుండి వచ్చిన డేటా ఒక భారీ వ్యత్యాసాన్ని చూపుతోంది. 2021 తర్వాత జరిగిన విషయాల గురించి GPT-4ని అడిగినప్పుడు, RAG ఉపయోగించడం వల్ల హాలూసినేషన్ రేటు 27% నుండి కేవలం 4%కి తగ్గింది.

ఇది ఎలా పనిచేస్తుంది?

RAG లేని AIని, జ్ఞాపకశక్తిపై ఆధారపడి పరీక్ష రాసే విద్యార్థిగా ఊహించుకోండి. ఒకవేళ వారు ఏదైనా విషయాన్ని మర్చిపోతే, తెలివైనవారిలా కనిపించడానికి అబద్ధం చెప్పే అవకాశం ఉంది.

RAG ఉన్న AIని, ఓపెన్-బుక్ పరీక్ష రాసే విద్యార్థిగా ఊహించుకోండి. వారు సమాధానం చెప్పే ముందు పాఠ్యపుస్తకంలో వెతుకుతారు.

ఈ ప్రక్రియ ఈ క్రింది దశలను అనుసరిస్తుంది:

• సిస్టమ్ మీ ప్రశ్నను 'వెక్టర్' (vector) అని పిలిచే గణిత కోడ్‌గా మారుస్తుంది. • ఇది ఒక డేటాబేస్‌లో అదే విధమైన గణిత కోడ్‌లు ఉన్న టెక్స్ట్ ముక్కల కోసం వెతుకుతుంది. • ఇది సారూప్యత స్కోర్‌ల (similarity scores) ఆధారంగా ఉత్తమమైన వాటిని ఎంచుకుంటుంది. • ఇది ఆ నిర్దిష్ట సమాచారాన్ని మీ ప్రాంప్ట్‌లోకి జోడిస్తుంది. • AI అందించిన వాస్తవాలను చదివి తన సమాధానాన్ని రాస్తుంది. • మీరు వాటిని తనిఖీ చేసుకోవడానికి వీలుగా సిస్టమ్ మీకు మూలాలను (sources) చూపిస్తుంది.

ఇది మీ పనికి ఎందుకు ముఖ్యమైనది:

  • ఖచ్చితత్వం (Accuracy): AI శిక్షణ పొందిన జ్ఞాపకశక్తికి బదులుగా వాస్తవ డేటాను ఉపయోగిస్తుంది.
  • తాజా సమాచారం (Freshness): మొత్తం మోడల్‌ను మళ్ళీ ట్రైన్ చేయకుండానే, మీరు ఈరోజు జరిగిన వార్తలను AIకి అందించవచ్చు.
  • పారదర్శకత (Transparency): సమాచారం ఖచ్చితంగా ఎక్కడి నుండి వచ్చిందో మీరు చూడవచ్చు.
  • తక్కువ ఖర్చు (Low Cost): RAG ద్వారా చిన్న డేటా ముక్కను ప్రాసెస్ చేయడానికి $0.002 ఖర్చవుతుంది. భారీ కాంటెక్స్ట్ విండోను ప్రాసెస్ చేయడానికి $2.00 ఖర్చవ్వచ్చు.

ప్రముఖ సంస్థలు ఇప్పటికే దీనిని ఉపయోగిస్తున్నాయి:

  • Perplexity AI: సైటేషన్లతో (citations) సెర్చ్ ఇంజిన్‌లా పనిచేయడానికి RAGని ఉపయోగిస్తుంది.
  • Claude: పెద్ద డాక్యుమెంట్లపై ఖర్చు తగ్గించడానికి RAGని ఉపయోగిస్తుంది.
  • Microsoft Copilot: మీ ఫైళ్లు మరియు ఈమెయిల్స్‌ను చదవడానికి RAGని ఉపయోగిస్తుంది.

RAG, AIని ఒక సృజనాత్మక కథకుడు (creative storyteller) నుండి నమ్మదగిన పరిశోధకుడిగా (reliable researcher) మారుస్తుంది.

Source: https://dev.to/tawan_shamsanor_30e1980a9/rag-ldkaarhlnkhng-ai-aid-85-aidyaangair-57ni