एका डेव्हलपरचा RAG प्रोटोटाइप ०.५० पेक्षा कमी कोसाइन सिमिलॅरिटी (cosine similarity) असलेल्या कोणत्याही क्वेरीला उत्तर देण्यास नकार देत होता. जोपर्यंत एम्बेडिंग मॉडेल बदलले नाही, तोपर्यंत ते उत्तम काम करत होते. त्यानंतर, गार्डने चुकीची उत्तरे न कळवता (silently) पुढे जाऊ दिली. ही घटना सिद्ध करते की हार्ड-कोडेड सिमिलॅरिटी थ्रेशोल्ड (similarity threshold) मॉडेल्स बदलल्यावर कोलमडू शकतो, जो सुरक्षा तपासणीसाठी एम्बेडिंग सिमिलॅरिटीवर अवलंबून असलेल्या कोणत्याही सिस्टमसाठी मोठा धोका आहे.
थ्रेशोल्ड का महत्त्वाचा होता
Retrieval-augmented generation (RAG) पाइपलाइन्स अनेकदा सिमिलॅरिटी गार्डचा वापर करतात: जर क्वेरी आणि सर्वात जवळचा दस्तऐवज यांच्यातील कोसाइन सिमिलॅरिटी पूर्वनिर्धारित संख्येपेक्षा कमी असेल, तर सिस्टम उत्तर देणे थांबवते. जेव्हा मिळालेला संदर्भ (context) कमकुवत असतो, तेव्हा हा गार्ड मॉडेलला भ्रम निर्माण करण्यापासून (hallucinating) रोखतो. मूळ सेटअपमध्ये, ०.५० थ्रेशोल्डमुळे सिस्टम अचूक राहत होती—ज्या क्वेरींची उत्तरे देता येत नव्हती त्यांचा स्कोअर या मर्यादेच्या खाली होता आणि ज्यांची उत्तरे देता येत होती त्यांचा स्कोअर याच्या वर होता.
जेव्हा एम्बेडिंग बॅकएंड बदलले, तेव्हा तेच ०.५० चे कट-ऑफ दोन गटांना वेगळे करू शकले नाही. पाइपलाइन कोणत्याही क्रॅश किंवा स्पष्ट त्रुटीशिवाय, आत्मविश्वासाने पण चुकीची उत्तरे देऊ लागली. ही त्रुटी मानक रँकिंग मेट्रिक्समध्ये (ranking metrics) पकडली गेली नाही आणि जेव्हा मानवाने त्यातील फरक लक्षात घेतला, तेव्हाच ती समोर आली.
भूमिती (Geometry) सार्वत्रिक नसते
प्रत्येक एम्बेडिंग मॉडेल भाषेला स्वतःच्या भूमितीसह एका उच्च-परिमाणित अवकाशात (high-dimensional space) मॅप करते. त्यामुळे, कोसाइन सिमिलॅरिटीची मूल्ये एका मॉडेलमधून दुसऱ्या मॉडेलमध्ये वेगवेगळे अर्थ देऊ शकतात. ०.५० चा स्कोअर एका मॉडेलसाठी स्पष्ट फरकाच्या टोकावर असू शकतो, तर दुसऱ्या मॉडेलसाठी तो ओव्हरलॅपच्या (overlap) मध्यभागी असू शकतो.
- Voyage-3 – ०.५० ची रेषा कमी स्कोअर असलेल्या उत्तर न देता येण्याजोग्या क्वेरी आणि उच्च स्कोअर असलेल्या उत्तर देता येण्याजोग्या क्वेरी यांच्यामध्ये आहे. गार्ड अपेक्षितपणे काम करतो.
- BGE-Small – अनेक उत्तर न देता येण्याजोग्या क्वेरींचा स्कोअर ०.५० च्या वर आहे, त्यामुळे गार्ड कधीच सक्रिय होत नाही. कट-ऑफ ०.७० पर्यंत वाढवल्यास सुरक्षितता पुन्हा प्राप्त होते.
- Hashing-64 – उत्तर देता येण्याजोग्या आणि उत्तर न देता येण्याजोग्या क्वेरींचे स्कोअर इतक्या घट्टपणे मिसळलेले आहेत की कोणताही एक थ्रेशोल्ड त्यांना वेगळे करू शकत नाही; हे मॉडेल सिमिलॅरिटी गार्डला सपोर्ट करण्यासाठी खूप कमकुवत आहे.
ही उदाहरणे एक व्यापक सत्य स्पष्ट करतात: थ्रेशोल्ड हा विशिष्ट मॉडेल-डेटा जोडीचा भाग असतो, तो कोणताही सार्वत्रिक नियम नाही.
स्थिर मूल्याचा (constant) छुपा खर्च
सिमिलॅरिटी थ्रेशोल्ड अनेक डाउनस्ट्रीम कामांमध्ये वापरले जातात:
- semantic caching
- duplicate detection
- document relevance checks
- entity matching
एक स्थिर मूल्य वापरणे म्हणजे सर्व एम्बेडिंग मॉडेल्सचे स्कोअर वितरण (score distribution) सारखेच आहे असे मानणे—हे एक धोकादायक गृहीतक आहे. जेव्हा हे गृहीतक चुकतं, तेव्हा सिस्टम्स शांतपणे चुकीच्या आत्मविश्वासाने (false-confident) आउटपुट देतात, ज्यामुळे वापरकर्त्याचा विश्वास कमी होतो आणि डाउनस्ट्रीम निर्णयांना चुकीचा डेटा मिळतो.
प्रति-मॉडेल गार्ड कॅलिब्रेट करणे
यावर उपाय सोपा आहे: कधीही हार्ड-कोडेड स्थिर मूल्य (constant) वापरू नका. थ्रेशोल्डला एक हायपर-पॅरामीटर (hyper-parameter) म्हणून treating करा, जे प्रत्येक नवीन एम्बेडिंग मॉडेलसाठी ट्यून करणे आवश्यक आहे.
- उत्तर देता येण्याजोग्या आणि उत्तर न देता येण्याजोग्या दोन्ही क्वेरींचा समावेश असलेला एक मध्यम, लेबल केलेला व्हॅलिडेशन सेट तयार करा.
- लक्ष्यित मॉडेल वापरून प्रत्येक क्वेरी-दस्तऐवज जोडीसाठी कोसाइन सिमिलॅरिटी मोजा.
- दोन्ही वितरणांचे (distributions) आलेख काढा किंवा 'फॉल्स-कॉन्फिडंट रेट' (false-confident rate) मोजा—म्हणजेच थ्रेशोल्डपेक्षा जास्त स्कोअर असलेल्या उत्तर न देता येण्याजोग्या क्वेरींचे प्रमाण.
- सर्वात कमी सिमिलॅरिटी मूल्य निवडा जे फॉल्स-कॉन्फिडंट रेटला स्वीकार्य जोखीम पातळीच्या खाली ठेवते.
कारण उद्दिष्ट अति-आत्मविश्वास रोखणे हे आहे, त्यामुळे mean reciprocal rank (MRR) सारखे पारंपारिक रँकिंग मेट्रिक्स अपुरे पडतात. फॉल्स-कॉन्फिडंट रेट थेट गार्डच्या अपयशाचे मोजमाप करतो.
प्रतिवाद: “काही मॉडेल्स थेट वापरण्यास तयार असतात”
हे खरे आहे की काही चांगले वागणारे मॉडेल्स, जसे की उदाहरणातील Voyage-3, योगायोगाने ०.५० गार्डशी जुळतात. परंतु, ते भविष्यातील स्थिरतेची हमी देत नाहीत. मॉडेल अपडेट्स, फाईन-ट्यूनिंग किंवा मूळ कॉर्पसमध्ये होणारे बदल सिमिलॅरिटी वितरण बदलू शकतात, ज्यामुळे गार्ड पुन्हा बिघडू शकतो. केवळ एका नशिबवान जुळणीवर अवलंबून राहणे चुकीचे आहे.
पुढे काय पाहावे
-
-
-
निष्कर्ष
सिमिलॅरिटी थ्रेशोल्ड हा कोणताही सार्वत्रिक सेफ्टी स्विच नाही; तो मॉडेल-विशिष्ट गार्ड आहे जो तुम्ही प्रत्येक वेळी एम्बेडिंग बॅकएंड किंवा डेटा बदलता तेव्हा कॅलिब्रेट करणे आवश्यक आहे. या तथ्याकडे दुर्लक्ष केल्यास RAG सिस्टम्स शांतपणे भ्रम निर्माण (hallucination) करू लागतात, ज्यामुळे गार्डचा मूळ उद्देशच धोक्यात येतो. पुढे जाण्याचा एकमेव विश्वासार्ह मार्ग म्हणजे पद्धतशीर प्रति-मॉडेल कॅलिब्रेशन आणि फॉल्स-कॉन्फिडंट रेटचे सतत निरीक्षण करणे.