𝗛𝗼𝘄 𝗥𝗔𝗚 𝗥𝗲𝗱𝘂𝗰𝗲𝘀 𝗔𝗜 𝗛𝗮𝗹𝗹𝘂𝗰𝗶𝗻𝗮𝘁𝗶𝗼𝗻𝘀 𝗯𝘆 𝟴𝟱%
AI ਅਕਸਰ ਗਲਤ ਜਾਂ ਬਣਾਵਟੀ ਗੱਲਾਂ ਕਰਦਾ ਹੈ। ਇਸ ਨੂੰ hallucination ਕਿਹਾ ਜਾਂਦਾ ਹੈ।
Retrieval Augmented Generation (RAG) ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਸੁਧਾਰਦਾ ਹੈ। ਇਹ AI ਨੂੰ ਅੰਦਾਜ਼ੇ ਲਗਾਉਣ ਤੋਂ ਰੋਕਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਅਸਲ ਤੱਥਾਂ ਨੂੰ ਦੇਖਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ।
Pinecone ਦਾ ਡੇਟਾ ਇੱਕ ਵੱਡਾ ਫਰਕ ਦਿਖਾਉਂਦਾ ਹੈ। ਜਦੋਂ GPT-4 ਨੂੰ 2021 ਤੋਂ ਬਾਅਦ ਦੇ ਤੱਥਾਂ ਬਾਰੇ ਪੁੱਛਿਆ ਗਿਆ, ਤਾਂ RAG ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ hallucination ਦੀ ਦਰ 27% ਤੋਂ ਘਟ ਕੇ ਸਿਰਫ਼ 4% ਰਹਿ ਗਈ।
ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ?
ਬਿਨਾਂ RAG ਵਾਲੇ AI ਨੂੰ ਇੱਕ ਅਜਿਹੇ ਵਿਦਿਆਰਥੀ ਵਜੋਂ ਸਮਝੋ ਜੋ ਯਾਦਦਾਸ਼ਤ ਦੇ ਆਧਾਰ 'ਤੇ ਟੈਸਟ ਦੇ ਰਿਹਾ ਹੈ। ਜੇਕਰ ਉਹ ਕੋਈ ਤੱਥ ਭੁੱਲ ਜਾਂਦੇ ਹਨ, ਤਾਂ ਉਹ ਸਮਾਰਟ ਦਿਖਣ ਲਈ ਝੂਠ ਬੋਲ ਸਕਦੇ ਹਨ।
RAG ਵਾਲੇ AI ਨੂੰ ਇੱਕ ਅਜਿਹੇ ਵਿਦਿਆਰਥੀ ਵਜੋਂ ਸਮਝੋ ਜੋ 'ਓਪਨ-ਬੁੱਕ' ਟੈਸਟ ਦੇ ਰਿਹਾ ਹੈ। ਉਹ ਬੋਲਣ ਤੋਂ ਪਹਿਲਾਂ ਪਾਠ-ਪੁਸਤਕ ਵਿੱਚ ਜਵਾਬ ਲੱਭਦੇ ਹਨ।
ਇਹ ਪ੍ਰਕਿਰਿਆ ਇਹਨਾਂ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੀ ਹੈ:
• ਸਿਸਟਮ ਤੁਹਾਡੇ ਸਵਾਲ ਨੂੰ ਇੱਕ ਗਣਿਤਕ ਕੋਡ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ ਜਿਸ ਨੂੰ vector ਕਿਹਾ ਜਾਂਦਾ ਹੈ।
• ਇਹ ਸਮਾਨ ਗਣਿਤਕ ਕੋਡਾਂ ਵਾਲੇ ਟੈਕਸਟ ਚੰਕਸ (text chunks) ਲਈ ਡੇਟਾਬੇਸ ਵਿੱਚ ਖੋਜ ਕਰਦਾ ਹੈ।
• ਇਹ ਸਮਾਨਤਾ ਸਕੋਰਾਂ (similarity scores) ਦੇ ਅਧਾਰ 'ਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਮੈਚ ਚੁਣਦਾ ਹੈ।
• ਇਹ ਇਸ ਖਾਸ ਜਾਣਕਾਰੀ ਨੂੰ ਤੁਹਾਡੇ prompt ਵਿੱਚ ਜੋੜ ਦਿੰਦਾ ਹੈ।
• AI ਆਪਣਾ ਜਵਾਬ ਲਿਖਣ ਲਈ ਦਿੱਤੇ ਗਏ ਤੱਥਾਂ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ।
• ਸਿਸਟਮ ਤੁਹਾਨੂੰ ਸਰੋਤ ਦਿਖਾਉਂਦਾ ਹੈ ਤਾਂ ਜੋ ਤੁਸੀਂ ਉਹਨਾਂ ਦੀ ਜਾਂਚ ਕਰ ਸਕੋ।
ਇਹ ਤੁਹਾਡੇ ਕੰਮ ਲਈ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ:
- ਸ਼ੁੱਧਤਾ (Accuracy): AI ਸਿਖਲਾਈ ਯਾਦਦਾਸ਼ਤ ਦੀ ਬਜਾਏ ਅਸਲ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
- ਤਾਜ਼ਗੀ (Freshness): ਤੁਸੀਂ ਪੂਰੇ ਮਾਡਲ ਨੂੰ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦਿੱਤੇ ਬਿਨਾਂ AI ਨੂੰ ਅੱਜ ਦੀਆਂ ਖ਼ਬਰਾਂ ਦੇ ਸਕਦੇ ਹੋ।
- ਪਾਰਦਰਸ਼ਤਾ (Transparency): ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਜਾਣਕਾਰੀ ਬਿਲਕੁਲ ਕਿੱਥੋਂ ਆਈ ਹੈ।
- ਘੱਟ ਲਾਗਤ (Low Cost): RAG ਰਾਹੀਂ ਡੇਟਾ ਦੇ ਇੱਕ ਛੋਟੇ ਹਿੱਸੇ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੀ ਲਾਗਤ $0.002 ਹੈ। ਇੱਕ ਵਿਸ਼ਾਲ context window ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੀ ਲਾਗਤ $2.00 ਹੋ ਸਕਦੀ ਹੈ।
ਵੱਡੇ ਨਾਮ ਪਹਿਲਾਂ ਹੀ ਇਸਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹਨ:
- Perplexity AI: ਹਵਾਲਿਆਂ (citations) ਦੇ ਨਾਲ ਇੱਕ ਸਰਚ ਇੰਜਣ ਵਜੋਂ ਕੰਮ ਕਰਨ ਲਈ RAG ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
- Claude: ਲੰਬੇ ਦਸਤਾਵੇਜ਼ਾਂ 'ਤੇ ਲਾਗਤ ਬਚਾਉਣ ਲਈ RAG ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
- Microsoft Copilot: ਤੁਹਾਡੀਆਂ ਫਾਈਲਾਂ ਅਤੇ ਈਮੇਲਾਂ ਨੂੰ ਪੜ੍ਹਨ ਲਈ RAG ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
RAG AI ਨੂੰ ਇੱਕ ਰਚਨਾਤਮਕ ਕਹਾਣੀਕਾਰ ਤੋਂ ਇੱਕ ਭਰੋਸੇਯੋਗ ਖੋਜਕਰਤਾ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ।
ਸਰੋਤ: https://dev.to/tawan_shamsanor_30e1980a9/rag-ldkaarhlnkhng-ai-aid-85-aidyaangair-57ni