एका नवीन WhatsApp-आधारित RAG (retrieval-augmented generation) असिस्टंटने प्रत्येक उत्तराला JSON-encoded citation (संदर्भ) असणे अनिवार्य करून 'hallucination' (चुकीची माहिती देणे) थांबवले आहे. जेव्हा मॉडेल एखाद्या विशिष्ट chunk कडे निर्देश करू शकले नाही, तेव्हा त्याने “याचे उत्तर देण्यासाठी माझ्याकडे पुरेशी माहिती नाही” असे उत्तर दिले, ज्यामुळे एक आत्मविश्वासाने खोटे बोलणारी प्रणाली एका विश्वासार्ह “मला माहित नाही” अशा प्रणालीमध्ये बदलली.

RAG मध्ये विश्वासाचे महत्त्व का आहे

RAG वरील बहुतेक ट्युटोरियल्स केवळ retrieval वर लक्ष केंद्रित करतात—जसे की embeddings निवडणे, कागदपत्रांचे chunks मध्ये विभाजन करणे, निकालांचे re-ranking करणे. संबंधित मजकूर सापडल्यानंतर काय होते, याकडे ते दुर्लक्ष करतात. जेव्हा असिस्टंट असा एखादा ठाम उत्तर देतो ज्याला मिळालेल्या संदर्भाचा (retrieved context) आधार नसतो, तेव्हा वापरकर्त्यांचा विश्वास उडतो.

आत्मविश्वासातील तफावत

PostgreSQL आणि pgvector extension वापरून तयार केलेल्या प्रोटोटाइपमध्ये, retrieval pipeline अगदी सोपी होती. खरी अडचण production मध्ये आली: जेव्हा मिळालेल्या माहितीमध्ये (retrieved snippet) आवश्यक माहिती नसायची, तेव्हाही लँग्वेज मॉडेल अत्यंत खात्रीने बोलत असे. डेमोमध्ये ही समस्या लपवता आली असती, परंतु प्रत्यक्ष वापरकर्त्यांनी आत्मविश्वासाने बोलणे आणि अचूक असणे यातील तफावत उघड केली.

JSON द्वारे citations अनिवार्य करणे

“तुमच्याकडे संदर्भ असेल तरच उत्तर द्या” अशा प्रकारचे प्रॉम्प्ट्स देऊन मॉडेलला समजावून सांगण्याऐवजी, लेखकाने आउटपुट फॉरमॅट बदलला. आता सिस्टमला एका JSON ऑब्जेक्टची आवश्यकता असते, ज्यामध्ये प्रत्येक दाव्यासोबत (claim) त्याला आधार देणाऱ्या नेमक्या chunk चा संदर्भ समाविष्ट असतो. जर मॉडेल एखादे citation जोडू शकले नाही, तर ते उत्तर नाकारले जाते आणि वापरकर्त्याला स्पष्टपणे “मला माहित नाही” असा संदेश दिसतो.

ही अंमलबजावणी नैसर्गिक-भाषेच्या सूचनांकडून (natural-language instructions) schema validation कडे वळवण्यात आली. मॉडेल अजूनही मजकूर तयार करते, परंतु वापरकर्त्यापर्यंत पोहोचण्यापूर्वी आजूबाजूचा कोड हे तपासतो की JSON आवश्यक संरचनेशी (structure) जुळते की नाही.

काय बदलले

  • Chunking अधिक सावध झाली. अस्पष्ट किंवा अतिशय व्यापक chunks आता विना-citation दावे तयार करतात, ज्यामुळे “मला माहित नाही” हा पर्याय (fallback) सक्रिय होतो.
  • System prompt लहान झाला. मॉडेलच्या वर्तनावर नियंत्रण ठेवण्याचा प्रयत्न करणाऱ्या मोठ्या प्रॉम्प्टची जागा आता छोट्या सूचना संचाने घेतली आहे, ज्यामुळे मुख्य काम schema द्वारे केले जाते.
  • अयशस्वी प्रयत्न आता स्पष्ट दिसतात. जेव्हा retrieval मध्ये अप्रासंगिक माहिती मिळते, तेव्हा असिस्टंट आता आत्मविश्वासाने चुकीचे उत्तर देऊन चूक लपवत नाही; तो उघडपणे अनिश्चितता मान्य करतो.

निष्कर्ष (Takeaway): RAG असिस्टंटसाठी, प्रत्येक दावा मिळालेल्या स्रोतापर्यंत शोधता येईल याची खात्री करणे, केवळ retrieval पायरी सुधारण्यापेक्षा वापरकर्त्याचा विश्वास अधिक खात्रीशीरपणे निर्माण करते. विना-citation असलेल्या उत्तरांना दृश्यमान “मला माहित नाही” मध्ये रूपांतरित करून, डेव्हलपर्स सिस्टिमला उत्तरे तयार करण्याऐवजी (fabricating) तिच्या मर्यादा मान्य करण्यास मदत करतात.