𝗛𝘆𝗯𝗿𝗶𝗱 𝗥𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗮𝗻𝗱 𝗔𝗴𝗲𝗻𝘁 𝗢𝗯𝘀𝗲𝗿𝘃𝗮𝗯𝗶𝗹𝗶𝘁𝘆
ਜ਼ਿਆਦਾਤਰ RAG ਸਿਸਟਮ ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਅਸਫਲ ਹੋ ਜਾਂਦੇ ਹਨ। ਉਹ ਲੈਂਗੂਏਜ ਮਾਡਲ ਕਾਰਨ ਅਸਫਲ ਨਹੀਂ ਹੁੰਦੇ। ਉਹ ਰਿਟ੍ਰੀਵਲ (retrieval) ਵਿੱਚ ਅਸਫਲ ਹੁੰਦੇ ਹਨ।
ਸਿਸਟਮ ਸਹੀ ਡਾਟਾ ਚੰਕ (data chunk) ਲਿਆਉਣ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦਾ ਹੈ। ਜਾਂ ਫਿਰ ਇਹ ਡਾਟਾ ਤਾਂ ਲਿਆ ਲੈਂਦਾ ਹੈ ਪਰ ਇਸਨੂੰ ਰੈਂਕ 40 'ਤੇ ਦਬਾ ਦਿੰਦਾ ਹੈ। ਜਨਰੇਟਰ (generator) ਕਦੇ ਵੀ ਜਾਣਕਾਰੀ ਦੇਖ ਨਹੀਂ ਪਾਉਂਦਾ। ਤੁਹਾਡੀ ਟੀਮ ਕੋਲ ਇਹ ਦੇਖਣ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਹੁੰਦਾ ਕਿ ਕੀ ਗਲਤ ਹੋਇਆ।
ਇਹ ਆਰਕੀਟੈਕਚਰ ਦੋਵਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਸੁਧਾਰਦਾ ਹੈ।
ਬਿਹਤਰ ਨਤੀਜਿਆਂ ਲਈ ਇਹਨਾਂ ਤਿੰਨ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ:
ਹਾਈਬ੍ਰਿਡ ਰਿਟ੍ਰੀਵਲ (Hybrid Retrieval) ਦੀ ਵਰਤੋਂ ਕਰੋ ਲੈਕਸੀਕਲ BM25 ਅਤੇ ਡੈਂਸ ਸੈਮੈਂਟਿਕ ਸਰਚ (dense semantic search) ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਚਲਾਓ। ਲਿਸਟਾਂ ਨੂੰ ਜੋੜਨ ਲਈ ਰੈਸਿਪ੍ਰੋਕਲ ਰੈਂਕ ਫਿਊਜ਼ਨ (reciprocal rank fusion) ਦੀ ਵਰਤੋਂ ਕਰੋ। ਬੈਂਚਮਾਰਕਸ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਸਿਰਫ਼ BM25 ਦੇ ਮੁਕਾਬਲੇ, ਇਹ ਟੈਕਸਟ ਅਤੇ ਟੇਬਲ ਡਾਟਾ 'ਤੇ Recall@5 ਵਿੱਚ 8 ਪ੍ਰਤੀਸ਼ਤ ਵਾਧਾ ਕਰਦਾ ਹੈ।
ਇੱਕ ਰੀਰੈਂਕਰ (Reranker) ਜੋੜੋ ਰੀਰੈਂਕਰ ਤੁਹਾਡੀ ਪ੍ਰੀਸੀਜ਼ਨ (precision) ਵਧਾਉਣ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਹੈ। ਚੋਟੀ ਦੇ 50 ਤੋਂ 100 ਉਮੀਦਵਾਰਾਂ (candidates) 'ਤੇ ਕਰਾਸ-ਇਨਕੋਡਰ (cross-encoder) ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇਹ ਕਦਮ ਤੁਹਾਡੇ ਨਤੀਜਿਆਂ ਵਿੱਚ ਕਾਫ਼ੀ ਸੁਧਾਰ ਕਰਦਾ ਹੈ।
ਅਬਜ਼ਰਵੇਬਿਲਟੀ (Observability) 'ਤੇ ਧਿਆਨ ਦਿਓ ਆਪਣੇ ਰਿਟ੍ਰੀਵਲ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਗਲਤੀਆਂ ਲੱਭਣ ਲਈ ਤੁਹਾਨੂੰ ਟ੍ਰੇਸ (traces) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਟ੍ਰੇਸ ਤੋਂ ਬਿਨਾਂ, ਤੁਸੀਂ ਸਿਸਟਮ ਨੂੰ ਠੀਕ ਨਹੀਂ ਕਰ ਸਕਦੇ।
ਆਪਣੇ RAG ਸਿਸਟਮ ਨੂੰ ਇਹਨਾਂ ਪ੍ਰੋਡਕਸ਼ਨ ਸਟੈਂਡਰਡਸ ਨਾਲ ਬਣਾਓ।
Source: https://dev.to/rishi_kora/hybrid-retrieval-and-agent-observability-a-production-rag-build-2h6p
Optional learning community: https://t.me/GyaanSetuAi