टेस्ट-टाइम ज्योमेट्री कंस्ट्रेंट्स विजन मॉडल्स में सुधार करते हैं
Self-Geometry, जो एक टेस्ट-टाइम ऐड-ऑन है, ETH3D बेंचमार्क पर विजन फाउंडेशन मॉडल्स के डेप्थ (depth) और पोज़ (pose) स्कोर को क्रमशः डेप्थ के लिए 37.3% और पोज़ के लिए 9.2% तक बढ़ा देता है।
VGGT जैसे विजन फाउंडेशन मॉडल्स एक सिंगल फॉरवर्ड पास में सीन डेप्थ और कैमरा पोज़ का अनुमान लगाते हैं। यह सुविधा एक कीमत पर आती है: वे प्रत्येक व्यू को स्वतंत्र रूप से देखते हैं और उन एपिपोलर कंस्ट्रेंट्स (epipolar constraints) को नज़रअंदाज़ कर देते हैं जो एक ही सीन की कई छवियों को आपस में जोड़ते हैं। मौजूदा "सेल्फ-कंसिस्टेंसी" (self-consistency) तकनीकें मॉडल के अपने आउटपुट में विरोधाभासों को खोजने की कोशिश करती हैं, लेकिन जब शुरुआती अनुमान बहुत गलत होता है, तो सुधार की प्रक्रिया विफल हो जाती है।
Self-Geometry उस खामी से बचता है। यह पहले ओवरलैपिंग इमेज के बीच 2-D पॉइंट कोरेस्पोंडेंस (point correspondences) निकालता है और उन मैचों को 'स्यूडो ग्राउंड ट्रुथ' (pseudo ground truth) के रूप में मानता है। इन्फरेंस (inference) के दौरान, यह एक लाइटवेट ऑप्टिमाइज़र चलाता है जो मॉडल के डेप्थ और पोज़ आउटपुट को दो लॉस टर्म्स (loss terms) को पूरा करने के लिए एडजस्ट करता है:
- मल्टी-व्यू कंसिस्टेंसी (Multi-view consistency) – वही 3-D पॉइंट हर व्यू में सही ढंग से प्रोजेक्ट होना चाहिए।
- एपिपोलर कंसिस्टेंसी (Epipolar consistency) – स्टीरियो ज्योमेट्री का क्लासिक लाइन-ऑफ-साइट नियम। कोई भी ग्रेडिएंट बैकबोन में वापस नहीं जाता है, इसलिए मूल वेट्स (weights) अपरिवर्तित रहते हैं।
ETH3D बेंचमार्क पर, यह विधि VGGT की पोज़ सटीकता को 9.2% और डेप्थ सटीकता को 37.3% तक बढ़ा देती है। अन्य मॉडल्स में 5.0% और 25.1% का सुधार देखा गया है। यह सुधार छह आर्किटेक्चर और चार सार्वजनिक डेटासेट्स में बना रहता है, जो दर्शाता है कि यह दृष्टिकोण किसी एक नेटवर्क डिज़ाइन तक सीमित नहीं है।
ट्रेड-ऑफ्स (Trade-offs)
यह तकनीक विश्वसनीय 2-D मैचों पर निर्भर करती है। टेक्सचर-रहित सतहें (texture-less surfaces), दोहराव वाले पैटर्न, या चलते हुए ऑब्जेक्ट्स कोरेस्पोंडेंस सेट को खराब कर सकते हैं और सुधार को कमजोर कर सकते हैं। रनटाइम एक और बाधा है: एक LoRA-आधारित (low-rank adaptation) इम्प्लीमेंटेशन RTX PRO 6000 GPU पर प्रति सीन दो मिनट से कम समय में पूरा होता है—जो लाइव SLAM या AR की फ्रेम-रेट आवश्यकताओं से काफी दूर है।
भविष्य की राह (Looking ahead)
यदि कम्युनिटी ज्योमेट्रिक अडैप्टेशन को एक मानक पोस्ट-प्रोसेसिंग स्टेप के रूप में अपनाती है, तो कई मौजूदा मॉडल्स को बिना किसी महंगे रिट्रेनिंग के तुरंत बेहतर प्रदर्शन मिल सकता है। बेंचमार्क सूट्स में भी एक Self-Geometry बेसलाइन शामिल करने की आवश्यकता होगी ताकि वास्तविक डिप्लॉयमेंट को दर्शाया जा सके जहाँ टेस्ट-टाइम रिफाइनमेंट संभव है।
निष्कर्ष (Takeaway): एक मामूली, टेस्ट-टाइम ज्योमेट्रिक सैनिटी चेक ऑफ-द-शेल्फ विजन मॉडल्स से काफी अधिक सटीकता प्राप्त कर सकता है, लेकिन साफ-सुथरे मैचों और नॉन-रियल-टाइम स्पीड पर इसकी निर्भरता लेटेंसी-क्रिटिकल सिस्टम में इसके तत्काल उपयोग को सीमित करती है।