एक डेवलपर ने एक ऐसा सिस्टम बनाया है जो प्रमुख AI-संचालित सर्च टूल्स—ChatGPT, Claude, Perplexity, Gemini और Google AI Overviews में ब्रांड की विजिबिलिटी पर नज़र रखता है। यह प्रोजेक्ट दिखाता है कि कुछ API कॉल्स से किसी ब्रांड को यह पता नहीं चल सकता कि उपयोगकर्ता वास्तव में उसका नाम देख रहा है या नहीं, क्योंकि मॉडल का रॉ (raw) उत्तर अक्सर कंज्यूमर ऐप में दिखाए गए पॉलिश किए गए परिणाम से अलग होता है और उत्तर एक क्वेरी से दूसरी क्वेरी के बीच बदलते रहते हैं।

AI सर्च में ब्रांड विजिबिलिटी क्यों महत्वपूर्ण है

AI चैट असिस्टेंट वेब डिस्कवरी के लिए डिफॉल्ट फ्रंट-एंड बनते जा रहे हैं।

दो कमियाँ जिन्होंने एक साधारण स्क्रैप को इंजीनियरिंग मैराथन में बदल दिया

1. API उत्पाद नहीं है। OpenAI API (या किसी अन्य प्रोवाइडर के एंडपॉइंट) को कॉल करने पर मॉडल का आंतरिक उत्तर मिलता है। हालाँकि, ChatGPT ऐप उपयोगकर्ता द्वारा अंतिम उत्तर देखे जाने से पहले अपना स्वयं का रिट्रीवल सिस्टम, सिस्टम प्रॉम्प्ट और वेब-सर्च ऑगमेंटेशन जोड़ता है। यही चीज़ Claude, Gemini और अन्य सेवाओं के साथ भी होती है। एक API कॉल आपको बताती है कि मॉडल क्या जानता है; कंज्यूमर ऐप वह दिखाता है जो ग्राहक वास्तव में देखता है। इन अतिरिक्त लेयर्स को नज़रअंदाज़ करने का मतलब है कि आप एक अलग उत्पाद को माप रहे हैं।

2. उत्तर स्थिर नहीं होते हैं। एक ही प्रॉम्प्ट को पांच बार चलाएं और आपको संभवतः पांच अलग-अलग उत्तर मिलेंगे। ब्रांड का उल्लेख (mentions) बदल जाता है, क्रम बदल जाता है, और सोर्स URL भी बदल जाते हैं। एक सिंगल API रिस्पॉन्स प्रभावी रूप से सिक्के के उछाल (coin flip) की तरह है, विजिबिलिटी रिपोर्ट के लिए यह विश्वसनीय डेटा नहीं है। डेवलपमेंट नोट्स में उद्धृत एक अध्ययन में पाया गया कि आधे से अधिक उद्धृत स्रोत एक दिन से दूसरे दिन के बीच बदल जाते हैं।

2026 के APIs वास्तव में आपको क्या देते हैं

  • Perplexity: बिल्डर्स के लिए सबसे अनुकूल। इसका API सीधे तौर पर साइटेशन (citations) देता है, लेकिन साइटेशन लिस्ट अभी भी उस चीज़ से अलग होती है जो Perplexity वेब ऐप दिखाता है।
  • Google Gemini: Vertex AI के माध्यम से ग्राउंडिंग (grounding) प्रदान करता है, फिर भी कंज्यूमर Gemini ऐप में रैंकिंग और प्रेजेंटेशन लॉजिक रॉ API आउटपुट से अलग होते हैं।
  • OpenAI और Anthropic: वैकल्पिक वेब-सर्च टूल्स के साथ ठोस मॉडल प्रदान करते हैं, लेकिन वे ChatGPT या Claude के पब्लिक इंटरफेस में उपयोग किए जाने वाले सटीक रैंकिंग एल्गोरिदम को उजागर नहीं करते हैं।
  • Google AI Overviews: कोई पब्लिक API मौजूद नहीं है। ट्रैकिंग के लिए सर्च रिजल्ट पेजों को स्क्रैप करना पड़ता है, जो कि एक नाजुक और महंगा तरीका है।

विजिबिलिटी एक दर (rate) है, रैंक नहीं

अधिकांश मौजूदा टूल्स इस समस्या को बाइनरी "उल्लेख किया गया / उल्लेख नहीं किया गया" चेक तक सीमित कर देते हैं। वह दृष्टिकोण LLM आउटपुट की संभाव्य प्रकृति (probabilistic nature) को नज़रअंदाज़ करता है। क्योंकि प्रत्येक क्वेरी से अलग उत्तर मिल सकता है, इसलिए आपको एक सिंगल स्नैपशॉट के बजाय सांख्यिकीय दृष्टिकोण (statistical view) की आवश्यकता होती है।

सिस्टम के डिज़ाइन से निकला एक व्यावहारिक नियम यह है कि विजिबिलिटी को एक दर (rate) के रूप में माना जाए: एक ही प्रॉम्प्ट को कई बार, विभिन्न भौगोलिक क्षेत्रों और डिवाइस प्रकारों में चलाएं, फिर कॉन्फिडेंस इंटरवल (confidence interval) की गणना करें। यदि कोई ब्रांड अधिकांश रन में दिखाई देता है, तो आप निश्चित "हाँ" या "नहीं" के बजाय उपयुक्त मार्जिन ऑफ एरर के साथ उच्च विजिबिलिटी रेट की रिपोर्ट कर सकते हैं।

मॉनिटरिंग टूल कैसे बनाया गया

  • प्रति प्रॉम्प्ट कई रन: रैंडमनेस को कम करने के लिए कम से कम सात से आठ बार निष्पादन (executions)।
  • भौगोलिक और डिवाइस सैंपलिंग: प्लेटफॉर्म-विशिष्ट पर्सनलाइजेशन को कैप्चर करने के लिए विभिन्न क्षेत्रों से क्वेरी भेजी गईं और मोबाइल बनाम डेस्कटॉप पर सिम्युलेट की गईं।
  • चेंज-डिटेक्शन पर ध्यान: स्थिर उत्तरों को मानने वाले फिक्स्ड स्कीमा के बजाय, सिस्टम समय के साथ मेंशन फ्रीक्वेंसी, सोर्स डाइवर्सिटी और रैंकिंग पोजीशन में बदलाव को फ्लैग करता है।

आगे क्या देखें

  • प्लेटफॉर्म पारदर्शिता: जब तक प्रोवाइडर्स अपने कंज्यूमर ऐप्स में उपयोग किए जाने वाले सटीक रिट्रीवल और रैंकिंग लॉजिक को प्रकाशित नहीं करते, तब तक थर्ड-पार्टी मॉनिटर्स अनुमानों (approximations) पर ही निर्भर रहेंगे।

निष्कर्ष

AI-संचालित सर्च में ब्रांड की उपस्थिति को ट्रैक करना केवल एक सिंगल API रिस्पॉन्स प्राप्त करने का मामला नहीं है। इसके लिए बार-बार, भौगोलिक रूप से विविध क्वेरीज़, यह समझने की आवश्यकता है कि API कंज्यूमर प्रोडक्ट का केवल एक हिस्सा है, और एक सांख्यिकीय रिपोर्टिंग मॉडल की आवश्यकता है जो विजिबिलिटी को एक दर (rate) के रूप में कैप्चर करे। जब तक AI सर्च प्रोवाइडर्स अपने पूर्ण कंज्यूमर-फेसिंग लॉजिक को उजागर नहीं करते, तब तक विश्वसनीय ब्रांड-विजिबिलिटी डेटा चाहने वाले किसी भी व्यक्ति को सावधानीपूर्वक अनुमान (approximations) ही बनाने होंगे।