एक डेवलपर का RAG प्रोटोटाइप 0.50 से कम कॉसिन सिमिलरिटी (cosine similarity) वाले किसी भी प्रश्न का उत्तर देने से मना कर देता था। यह त्रुटिहीन रूप से काम कर रहा था—जब तक कि एम्बेडिंग मॉडल (embedding model) को बदला नहीं गया। इसके बाद, गार्ड ने चुपचाप गलत उत्तरों को अंदर आने दिया। यह घटना साबित करती है कि एक हार्ड-कोडेड सिमिलरिटी थ्रेशोल्ड (similarity threshold) अलग-अलग मॉडलों के साथ विफल हो सकता है, जो कि सुरक्षा जांच के लिए एम्बेडिंग सिमिलरिटी पर निर्भर किसी भी सिस्टम के लिए एक बड़ा जोखिम है।
थ्रेशोल्ड क्यों महत्वपूर्ण था
Retrieval-augmented generation (RAG) पाइपलाइन्स अक्सर एक सिमिलरिटी गार्ड (similarity guard) का उपयोग करती हैं: यदि किसी प्रश्न और उसके निकटतम दस्तावेज़ के बीच कॉसिन सिमिलरिटी एक पूर्व-निर्धारित संख्या से कम हो जाती है, तो सिस्टम उत्तर देने से रुक जाता है। जब रिट्रीव किया गया कॉन्टेक्स्ट (context) कमजोर होता है, तो यह गार्ड मॉडल को मतिभ्रम (hallucinating) से बचाता है। मूल सेटअप में, 0.50 का थ्रेशोल्ड सिस्टम को सटीक रखता था—जिन प्रश्नों का उत्तर नहीं दिया जा सकता था उनका स्कोर सीमा से नीचे रहता था, और उत्तर देने योग्य प्रश्नों का ऊपर।
जब एम्बेडिंग बैकएंड बदला गया, तो वही 0.50 का कट-ऑफ अब दोनों समूहों को अलग नहीं कर सका। पाइपलाइन बिना किसी क्रैश या स्पष्ट त्रुटि के, आत्मविश्वासपूर्ण लेकिन गलत प्रतिक्रियाएं देने लगी। यह विफलता मानक रैंकिंग मेट्रिक्स (ranking metrics) से बच निकली और केवल तभी सामने आई जब एक इंसान ने इसमें आए बदलाव (drift) को नोटिस किया।
ज्योमेट्री सार्वभौमिक नहीं है
प्रत्येक एम्बेडिंग मॉडल भाषा को अपने स्वयं के ज्योमेट्री (geometry) के साथ एक हाई-डायमेंशनल स्पेस (high-dimensional space) में मैप करता है। इसलिए, कॉसिन सिमिलरिटी मान एक मॉडल से दूसरे मॉडल में अलग-अलग अर्थ रखते हैं। 0.50 का स्कोर एक मॉडल के लिए स्पष्ट अंतर के किनारे पर हो सकता है, जबकि दूसरे के लिए यह ओवरलैप के गहरे हिस्से में हो सकता है।
- Voyage-3 – 0.50 की रेखा कम स्कोर वाले उत्तरहीन प्रश्नों और उच्च स्कोर वाले उत्तर योग्य प्रश्नों के बीच स्थित है। गार्ड इच्छित रूप से काम करता है।
- BGE-Small – कई उत्तरहीन प्रश्नों का स्कोर 0.50 से ऊपर होता है, इसलिए गार्ड कभी सक्रिय नहीं होता। कट-ऑफ को बढ़ाकर 0.70 करने से सुरक्षा मार्जिन बहाल हो जाता है।
- Hashing-64 – उत्तर योग्य और उत्तरहीन प्रश्नों के स्कोर इतने बारीकी से आपस में मिल जाते हैं कि कोई भी एकल थ्रेशोल्ड उन्हें अलग नहीं कर पाता; यह मॉडल सिमिलरिटी गार्ड का समर्थन करने के लिए बहुत कमजोर है।
ये मामले एक व्यापक सच्चाई को दर्शाते हैं: एक थ्रेशोल्ड एक विशिष्ट मॉडल-डेटा जोड़ी का हिस्सा होता है, न कि कोई सार्वभौमिक नियम।
एक स्थिर मान (constant) की छिपी हुई लागत
सिमिलरिटी थ्रेशोल्ड कई डाउनस्ट्रीम कार्यों में दिखाई देते हैं:
- semantic caching
- duplicate detection
- document relevance checks
- entity matching
एक स्थिर मान (constant value) का उपयोग करने का अर्थ यह मान लेना है कि सभी एम्बेडिंग मॉडल एक ही स्कोर वितरण (score distribution) साझा करते हैं—यह एक खतरनाक धारणा है। जब यह धारणा विफल होती है, तो सिस्टम चुपचाप गलत-आत्मविश्वासपूर्ण (false-confident) आउटपुट उत्पन्न करते हैं, जिससे उपयोगकर्ता का भरोसा कम होता है और डाउनस्ट्रीम निर्णयों को गलत डेटा मिलता है।
प्रति-मॉडल गार्ड को कैलिब्रेट करना
इसका समाधान सीधा है: कभी भी हार्ड-कोडेड कॉन्स्टेंट का उपयोग न करें। थ्रेशोल्ड को एक हाइपर-पैरामीटर (hyper-parameter) के रूप में मानें जिसे प्रत्येक नए एम्बेडिंग मॉडल के लिए ट्यून करना आवश्यक है।
- उत्तर योग्य और उत्तरहीन दोनों प्रकार के प्रश्नों को कवर करने वाला एक छोटा, लेबल किया गया वैलिडेशन सेट (validation set) तैयार करें।
- लक्षित मॉडल का उपयोग करके प्रत्येक प्रश्न-दस्तावेज़ जोड़ी के लिए कॉसिन सिमिलरिटी की गणना करें।
- दोनों वितरणों (distributions) को प्लॉट करें या 'फॉल्स-कॉन्फिडेंट रेट' (false-confident rate) की गणना करें—यानी उन उत्तरहीन प्रश्नों का अनुपात जो संभावित थ्रेशोल्ड से अधिक हैं।
- वह सबसे छोटा सिमिलरिटी मान चुनें जो फॉल्स-कॉन्फिडेंट रेट को स्वीकार्य जोखिम स्तर से नीचे रखता है।
चूंकि लक्ष्य अत्यधिक आत्मविश्वास (over-confidence) को रोकना है, इसलिए मीन रेसिप्रोकल रैंक (MRR) जैसे पारंपरिक रैंकिंग मेट्रिक्स अपर्याप्त हैं। फॉल्स-कॉन्फिडेंट रेट सीधे गार्ड की विफलता के तरीके को मापता है।
काउंटर-पॉइंट: “कुछ मॉडल बिना किसी बदलाव के काम करते हैं”
यह सच है कि कुछ अच्छे मॉडल, जैसे उदाहरण में Voyage-3, संयोग से 0.50 गार्ड के साथ मेल खाते हैं। लेकिन यह भविष्य की स्थिरता की गारंटी नहीं देता है। मॉडल अपडेट, फाइन-ट्यूनिंग, या मूल कॉर्पस (corpus) में बदलाव भी सिमिलरिटी वितरण को बदल सकते हैं, जिससे गार्ड फिर से विफल हो सकता है। केवल एक भाग्यशाली संरेखण (alignment) पर भरोसा करना लापरवाही को निमंत्रण देना है।
आगे क्या देखें
-
-
-
निष्कर्ष
सिमिलरिटी थ्रेशोल्ड कोई सार्वभौमिक सुरक्षा स्विच नहीं है; यह एक मॉडल-विशिष्ट गार्ड है जिसे हर बार एम्बेडिंग बैकएंड या डेटा बदलने पर कैलिब्रेट करना आवश्यक है। इस तथ्य को नज़रअंदाज़ करने से RAG सिस्टम 'साइलेंट हैलुसिनेशन' (silent hallucination) में जा सकते हैं, जो गार्ड के मूल उद्देश्य को ही खत्म कर देता है। आगे बढ़ने का एकमात्र विश्वसनीय रास्ता व्यवस्थित प्रति-मॉडल कैलिब्रेशन और फॉल्स-कॉन्फिडेंट रेट की निरंतर निगरानी है।