RAG ਪਾਈਪਲਾਈਨ: ਅੰਕਲ-ਭਤੀਜਾ ਗਾਈਡ
AI ਨੂੰ ਅੰਦਾਜ਼ੇ ਲਗਾਉਣ ਲਈ ਕਹਿਣਾ ਬੰਦ ਕਰੋ। ਇਸਨੂੰ ਤੱਥ (facts) ਦੇਣਾ ਸ਼ੁਰੂ ਕਰੋ।
ਜ਼ਿਆਦਾਤਰ ਲੋਕ ਸੋਚਦੇ ਹਨ ਕਿ AI ਸਭ ਕੁਝ ਜਾਣਦਾ ਹੈ। ਇਹ ਅਜਿਹਾ ਨਹੀਂ ਹੈ। ਇਹ ਸਿਰਫ਼ ਉਹੀ ਜਾਣਦਾ ਹੈ ਜੋ ਇਸਨੇ ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਸਿੱਖਿਆ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਆਪਣੀ ਨਿੱਜੀ ਕੰਪਨੀ ਦੇ ਡੇਟਾ ਬਾਰੇ ਪੁੱਛਦੇ ਹੋ, ਤਾਂ ਇਹ ਹਲੂਸੀਨੇਟ (hallucinate) ਕਰੇਗਾ। ਇਹ ਬੜੇ ਆਤਮ-ਵਿਸ਼ਵਾਸ ਨਾਲ ਤੁਹਾਨੂੰ ਝੂਠ ਬੋਲੇਗਾ।
Retrieval-Augmented Generation (RAG) ਇਸ ਨੂੰ ਠੀਕ ਕਰਦਾ ਹੈ।
AI ਨੂੰ ਯਾਦਦਾਸ਼ਤ ਤੋਂ ਜਵਾਬ ਦੇਣ ਲਈ ਕਹਿਣ ਦੀ ਬਜਾਏ, ਤੁਸੀਂ ਤਿੰਨ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹੋ:
• Retrieval: ਸਹੀ ਦਸਤਾਵੇਜ਼ ਲੱਭੋ। • Augmentation: ਉਹਨਾਂ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਆਪਣੇ ਪ੍ਰੋਂਪਟ (prompt) ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ। • Generation: AI ਨੂੰ ਸਿਰਫ਼ ਉਹਨਾਂ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਜਵਾਬ ਦੇਣ ਦਿਓ।
ਇੱਕ ਪ੍ਰੋਡਕਸ਼ਨ-ਗ੍ਰੇਡ RAG ਸਿਸਟਮ ਬਣਾਉਣ ਲਈ, ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਸਾਧਾਰਨ ਸਕ੍ਰਿਪਟ ਤੋਂ ਵੱਧ ਦੀ ਲੋੜ ਹੈ। ਤੁਹਾਨੂੰ ਇੰਜੀਨੀਅਰਿੰਗ ਦੀ ਲੋੜ ਹੈ।
ਇੱਕ ਭਰੋਸੇਯੋਗ ਸਿਸਟਮ ਲਈ ਬਲੂਪ੍ਰਿੰਟ ਇੱਥੇ ਹੈ:
ਡੇਟਾ ਦੀ ਤਿਆਰੀ (Data Preparation) ਪੂਰੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਐਂਬੈਡ (embed) ਨਾ ਕਰੋ। ਉਹਨਾਂ ਨੂੰ ਛੋਟੇ ਹਿੱਸਿਆਂ (chunks) ਵਿੱਚ ਵੰਡੋ। 1000-1500 ਟੋਕਨਾਂ ਅਤੇ 200-ਟੋਕਨ ਦੇ ਓਵਰਲੈਪ (overlap) ਦੇ ਨਾਲ ਸਲਾਈਡਿੰਗ ਵਿੰਡੋ ਅਪ੍ਰੋਚ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇਹ ਸੰਦਰਭ (context) ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦਾ ਹੈ।
ਸਟੋਰੇਜ ਸਟੈਕ (The Storage Stack) ਗੁੰਝਲਦਾਰ ਨਵੇਂ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਤੋਂ ਬਚੋ। pgvector ਐਕਸਟੈਂਸ਼ਨ ਦੇ ਨਾਲ PostgreSQL ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇਹ ਤੁਹਾਨੂੰ ਆਪਣਾ ਡੇਟਾ ਅਤੇ ਆਪਣੇ ਵੈਕਟਰ ਐਂਬੈਡਿੰਗ (vector embeddings) ਇੱਕ ਭਰੋਸੇਯੋਗ ਜਗ੍ਹਾ 'ਤੇ ਸਟੋਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
ਹਾਈਬ੍ਰਿਡ ਸਰਚ (Hybrid Search) ਵੈਕਟਰ ਸਰਚ ਸੰਕਲਪਾਂ (concepts) ਲਈ ਵਧੀਆ ਹੈ ਪਰ ਸਹੀ ਤੱਥਾਂ ਲਈ ਮਾੜੀ ਹੈ। ਵੈਕਟਰ ਸਰਚ ਨੂੰ ਕੀਵਰਡ ਸਰਚ (keyword search) ਨਾਲ ਜੋੜੋ। ਇਹ ਤੁਹਾਨੂੰ ਅਰਥ (semantic meaning) ਅਤੇ ਸਹੀ ਸ਼ੁੱਧਤਾ (precision) ਦੋਵੇਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਰੀ-ਰੈਂਕਿੰਗ (Reranking) ਵੈਕਟਰ ਸਰਚ ਤੇਜ਼ ਹੈ ਪਰ ਇਸ ਵਿੱਚ ਸ਼ੋਰ (noise) ਹੋ ਸਕਦਾ ਹੈ। ਦੋ-ਪੜਾਵੀ ਪ੍ਰਕਿਰਿਆ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਚੋਟੀ ਦੇ 20 ਨਤੀਜੇ ਲੱਭਣ ਲਈ ਇੱਕ ਤੇਜ਼ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰੋ, ਫਿਰ ਸਭ ਤੋਂ ਵਧੀਆ 5 ਨੂੰ ਚੁਣਨ ਲਈ ਵਧੇਰੇ ਸਹੀ ਰੀ-ਰੈਂਕਰ (reranker) ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਹਲੂਸੀਨੇਸ਼ਨ (Hallucinations) ਨੂੰ ਰੋਕਣਾ ਸੁਰੱਖਿਆ ਦੀਆਂ ਇਹਨਾਂ ਪੰਜ ਪਰਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ: • ਆਪਣੇ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਸਖ਼ਤ ਰਿਟ੍ਰੀਵਲ ਸੀਮਾਵਾਂ (retrieval boundaries) ਨਿਰਧਾਰਤ ਕਰੋ। • ਸਟ੍ਰਕਚਰਡ JSON ਆਉਟਪੁੱਟ ਦੀ ਵਰਤੋਂ ਕਰੋ। • ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ AI ਨੇ ਅਸਲ ਵਿੱਚ ਦਿੱਤੇ ਗਏ ਸਬੂਤ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ। • ਕਾਨਫੀਡੈਂਸ ਗੇਟਿੰਗ (confidence gating) ਲਾਗੂ ਕਰੋ। • AI ਨੂੰ ਹਵਾਲੇ (citations) ਦੇਣ ਲਈ ਮਜਬੂਰ ਕਰੋ।
RAG ਕੋਈ ਜਾਦੂ ਨਹੀਂ ਹੈ। ਇਹ ਇੰਜੀਨੀਅਰਿੰਗ ਹੈ। ਇਹ ਸਾਫ਼ ਡੇਟਾ, ਪ੍ਰਮਾਣਿਤ ਪੈਟਰਨਾਂ ਅਤੇ ਲਗਾਤਾਰ ਮਾਪ (measurement) ਬਾਰੇ ਹੈ।
ਅਜਿਹੇ ਸਿਸਟਮ ਬਣਾਓ ਜੋ ਸਬੂਤ ਪ੍ਰਦਾਨ ਕਰਨ, ਅੰਦਾਜ਼ੇ ਨਹੀਂ।
ਸਰੋਤ: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi