ఒక డెవలపర్ యొక్క RAG ప్రోటోటైప్, 0.50 కంటే తక్కువ కోసైన్ సిమిలారిటీ (cosine similarity) ఉన్న ఏ క్వెరీకి కూడా సమాధానం ఇవ్వడానికి నిరాకరించింది. ఎంబెడ్డింగ్ మోడల్ను మార్చే వరకు అది అద్భుతంగా పనిచేసింది. కానీ మోడల్ మారిన తర్వాత, ఆ గార్డ్ (guard) తప్పు సమాధానాలను కూడా నిశ్శబ్దంగా లోపలికి అనుమతించడం మొదలుపెట్టింది. హార్డ్-కోడ్ చేయబడిన సిమిలారిటీ త్రెషోల్డ్ (similarity threshold) మోడల్స్ మారినప్పుడు విఫలమయ్యే అవకాశం ఉందని ఈ సంఘటన నిరూపిస్తుంది; ఇది ఎంబెడ్డింగ్ సిమిలారిటీపై ఆధారపడి ఉండే ఏ సిస్టమ్కైనా ప్రమాదకరమైన రిస్క్.
Why the threshold mattered
Retrieval-augmented generation (RAG) పైప్లైన్లు తరచుగా ఒక సిమిలారిటీ గార్డ్ను ఉపయోగిస్తాయి: ఒక క్వెరీ మరియు దానికి దగ్గరగా ఉన్న డాక్యుమెంట్ మధ్య కోసైన్ సిమిలారిటీ ముందుగా నిర్ణయించిన సంఖ్య కంటే తక్కువగా ఉంటే, సిస్టమ్ సమాధానాన్ని ఆపేస్తుంది. రిట్రీవ్ చేయబడిన కాంటెక్స్ట్ (context) బలహీనంగా ఉన్నప్పుడు మోడల్ హాలూసినేట్ (hallucinate) చేయకుండా ఈ గార్డ్ కాపాడుతుంది. అసలు సెటప్లో, 0.50 త్రెషోల్డ్ సిస్టమ్ను ఖచ్చితంగా ఉంచింది—సమాధానం చెప్పలేని క్వెరీల స్కోరు ఆ రేఖ కంటే తక్కువగా, సమాధానం చెప్పగలిగే వాటి స్కోరు పైన ఉండేవి.
ఎంబెడ్డింగ్ బ్యాకెండ్ మారినప్పుడు, అదే 0.50 కట్-ఆఫ్ రెండు సమూహాలను వేరు చేయలేకపోయింది. ఎటువంటి ఎర్రర్ లేదా క్రాష్ లేకుండానే, పైప్లైన్ ఆత్మవిశ్వాసంతో కూడిన, కానీ తప్పు సమాధానాలను ఇవ్వడం ప్రారంభించింది. ఈ వైఫల్యం ప్రామాణిక రేంకింగ్ మెట్రిక్స్లో బయటపడలేదు, ఒక మనిషి ఆ మార్పును గమనించినప్పుడు మాత్రమే తెలిసింది.
Geometry isn’t universal
ప్రతి ఎంబెడ్డింగ్ మోడల్ భాషను దాని స్వంత జ్యామితి (geometry) కలిగిన హై-డైమెన్షనల్ స్పేస్లోకి మ్యాప్ చేస్తుంది. అందువల్ల, కోసైన్ సిమిలారిటీ విలువలు ఒక మోడల్ నుండి మరొక మోడల్కు వేర్వేరు అర్థాలను కలిగి ఉంటాయి. ఒక మోడల్కు 0.50 స్కోరు స్పష్టమైన విభజన వద్ద ఉండవచ్చు, కానీ మరొక మోడల్కు అది ఓవర్లాప్ (overlap) మధ్యలో ఉండవచ్చు.
- Voyage-3 – 0.50 లైన్ తక్కువ స్కోరు ఉన్న సమాధానం చెప్పలేని క్వెరీలకు మరియు ఎక్కువ స్కోరు ఉన్న సమాధానం చెప్పగలిగే క్వెరీలకు మధ్య ఉంటుంది. గార్డ్ అనుకున్నట్లుగా పనిచేస్తుంది.
- BGE-Small – చాలా సమాధానం చెప్పలేని క్వెరీల స్కోరు 0.50 కంటే ఎక్కువగా ఉంటుంది, కాబట్టి గార్డ్ ఎప్పుడూ పనిచేయదు. కట్-ఆఫ్ను 0.70కి పెంచడం వల్ల భద్రత లభిస్తుంది.
- Hashing-64 – సమాధానం చెప్పగలిగే మరియు చెప్పలేని క్వెరీల స్కోర్లు ఎంతగా కలిసిపోతాయంటే, ఏ ఒక్క త్రెషోల్డ్ కూడా వాటిని వేరు చేయలేదు; ఈ మోడల్ సిమిలారిటీ గార్డ్ను సపోర్ట్ చేయడానికి చాలా బలహీనంగా ఉంది.
ఈ సందర్భాలు ఒక విస్తృతమైన సత్యాన్ని వివరిస్తాయి: త్రెషోల్డ్ అనేది ఒక నిర్దిష్ట మోడల్-డేటా జంటకు మాత్రమే చెందుతుంది, ఇది ఒక యూనివర్సల్ నియమం కాదు.
The hidden cost of a constant
సిమిలారిటీ త్రెషోల్డ్లు అనేక ఇతర పనులలో కనిపిస్తాయి:
- semantic caching
- duplicate detection
- document relevance checks
- entity matching
ఒక స్థిరమైన విలువను (constant value) ఉపయోగించడం అంటే అన్ని ఎంబెడ్డింగ్ మోడల్స్ ఒకే రకమైన స్కోర్ డిస్ట్రిబ్యూషన్ను కలిగి ఉంటాయని భావించడం—ఇది ఒక ప్రమాదకరమైన ఊహ. ఈ ఊహ విఫలమైనప్పుడు, సిస్టమ్లు నిశ్శబ్దంగా తప్పు సమాచారాన్ని (false-confident output) అందిస్తాయి, దీనివల్ల వినియోగదారుల నమ్మకం దెబ్బతినడమే కాకుండా, తప్పుడు డేటాతో తదుపరి నిర్ణయాలు ప్రభావితమవుతాయి.
Calibrating per-model guards
దీనికి పరిష్కారం సరళమైనదే: ఎప్పుడూ హార్డ్-కోడ్ చేయబడిన కాన్స్టెంట్ను ఉపయోగించవద్దు. త్రెషోల్డ్ను ప్రతి కొత్త ఎంబెడ్డింగ్ మోడల్ కోసం ట్యూన్ చేయవలసిన ఒక హైపర్-పారామీటర్గా (hyper-parameter) పరిగణించండి.
- సమాధానం చెప్పగలిగే మరియు చెప్పలేని క్వెరీలను కవర్ చేస్తూ ఒక చిన్న లేబుల్ చేయబడిన వాలిడేషన్ సెట్ను సిద్ధం చేయండి.
- టార్గెట్ మోడల్ని ఉపయోగించి ప్రతి క్వెరీ-డాక్యుమెంట్ జంట కోసం కోసైన్ సిమిలారిటీలను లెక్కించండి.
- రెండు డిస్ట్రిబ్యూషన్లను ప్లాట్ చేయండి లేదా ఫాల్స్-కాన్ఫిడెంట్ రేట్ (false-confident rate)—అంటే త్రెషోల్డ్ కంటే ఎక్కువ స్కోరు ఉన్న సమాధానం చెప్పలేని క్వెరీల నిష్పత్తిని లెక్కించండి.
- అంగీకరించదగిన రిస్క్ స్థాయి కంటే తక్కువగా ఫాల్స్-కాన్ఫిడెంట్ రేట్ను ఉంచే అతి చిన్న సిమిలారిటీ విలువను ఎంచుకోండి.
లక్ష్యం అతిగా నమ్మకంతో (over-confidence) సమాధానాలు ఇవ్వకుండా ఆపడం కాబట్టి, మీన్ రికిప్రోకల్ ర్యాంక్ (MRR) వంటి సాంప్రదాయ రేంకింగ్ మెట్రిక్స్ సరిపోవు. ఫాల్స్-కాన్ఫిడెంట్ రేట్ నేరుగా గార్డ్ యొక్క వైఫల్యాన్ని కొలుస్తుంది.
Counter-point: “Some models work out of the box”
ఉదాహరణలో చూపిన Voyage-3 వంటి కొన్ని మోడల్స్ నేరుగా 0.50 గార్డ్తో సరిగ్గా సరిపోతాయనేది నిజమే. కానీ అది భవిష్యత్తులో కూడా స్థిరంగా ఉంటుందని గ్యారెంటీ లేదు. మోడల్ అప్డేట్లు, ఫైన్-ట్యూనింగ్ లేదా డేటాలో మార్పులు సిమిలారిటీ డిస్ట్రిబ్యూషన్ను మార్చి, గార్డ్ను మళ్ళీ విఫలం చేయవచ్చు. కేవలం ఒక అదృష్టకరమైన అమరికపై ఆధారపడటం వల్ల అజాగ్రత్త పెరుగుతుంది.
What to watch next
-
-
-
Takeaway
సిమిలారిటీ త్రెషోల్డ్ అనేది ఒక యూనివర్సల్ సేఫ్టీ స్విచ్ కాదు; ఇది మోడల్-స్పెసిఫిక్ గార్డ్. మీరు ఎంబెడ్డింగ్ బ్యాకెండ్ లేదా డేటాను మార్చిన ప్రతిసారీ దీనిని కాలిబ్రేట్ (calibrate) చేయాలి. ఈ విషయాన్ని విస్మరిస్తే RAG సిస్టమ్లు నిశ్శబ్దంగా హాలూసినేషన్స్లోకి జారిపోతాయి, తద్వారా గార్డ్ యొక్క అసలు ఉద్దేశ్యమే దెబ్బతింటుంది. క్రమబద్ధమైన పర్-మోడల్ కాలిబ్రేషన్ మరియు ఫాల్స్-కాన్ఫిడెంట్ రేట్ను నిరంతరం పర్యవేక్షించడం మాత్రమే సరైన మార్గం.