दहा मोठ्या लँग्वेज मॉडेल्सना (LLMs) रोमानियातील सर्वोत्तम वेडिंग-रिंग निर्मात्यांबद्दल विचारले असता, त्यांनी २९ वेगवेगळ्या लक्झरी-ज्वेलरी ब्रँड्सची नावे दिली आणि एकही ब्रँड सर्व उत्तरांमध्ये आढळला नाही. हा विस्तार दर्शवतो की जनरेटिव्ह एआयमधील (generative AI) "एकमत" (consensus) हे वास्तवापेक्षा एक मिथक आहे, विशेषतः अशा विशिष्ट (niche) प्रश्नांसाठी ज्यामध्ये व्यवसाय वर्चस्व मिळवण्याची आशा करतात.
ही चाचणी का महत्त्वाची आहे
डेव्हलपर्स अनेकदा असे गृहीत धरून एआय-चालित शोध (search) किंवा शिफारस (recommendation) वैशिष्ट्ये तयार करतात की विविध मॉडेल्स एकाच तथ्यांवर येतील. जर एखाद्या ब्रँडची दृश्यमानता (visibility) केवळ एका एआयच्या आउटपुटवर अवलंबून असेल, तर वेगळे उत्तर त्या ब्रँडची इतर ठिकाणी असलेली ओळख पुसून टाकू शकते. हा प्रयोग सिद्ध करतो की असे गृहीतक कमकुवत आहे आणि प्रत्येक मॉडेलची डेटा पाइपलाइन (data pipeline) मॉडेलइतकीच महत्त्वाची असते हे अधोरेखित करतो.
प्रयोगाचा थोडक्यात आढावा
- मॉडेल्स: ChatGPT, Claude, Gemini, Copilot, Grok, Perplexity, DeepSeek, Kimi, GLM आणि Qwen.
- प्रॉम्प्ट (Prompt): “रोमानियातील वेडिंग रिंग्ससाठी टॉप-५ लक्झरी ज्वेलरी ब्रँड्सची यादी द्या.” कोणताही ब्रँड हिंट दिला नाही, प्रत्येक मॉडेलसाठी नवीन सेशन वापरले गेले.
- स्लॉट्स: १० मॉडेल्स × ५ पोझिशन्स = एकूण ५० शिफारसी.
लक्षवेधी आकडेवारी
- ५० स्लॉट्समध्ये २९ युनिक ब्रँड्स आढळले.
- त्यापैकी ६६% ब्रँड्स केवळ एका मॉडेलच्या उत्तरात दिसले.
- कोणत्याही दोन मॉडेल्समधील सरासरी ओव्हरलॅप (overlap) १८% होता.
- दहाही मॉडेल्सनी कोणत्याही एका ब्रँडचा उल्लेख केला नाही.
सर्वात जास्त वेळा कोण दिसले?
| ब्रँड | मॉडेल्समध्ये आढळले |
|---|---|
| TEILOR | 6 |
| Malvensky | 5 |
| Sabion, Coriolan, KULTHO, Sabrini | प्रत्येकी 3 |
TEILOR आणि Malvensky यांचा स्कीमा मार्कअप (schema markup) मजबूत आहे आणि त्यांचा प्रसारमाध्यमांमध्ये वारंवार उल्लेख केला जातो, ज्यामुळे त्यांना विविध सिस्टिम्समध्ये दिसून येण्यास मदत होत असावी.
डेटा इंजिनिअर्सना काय सांगतो
- विशिष्ट (niche) बाजारपेठांमध्ये एकमत हा केवळ एक भ्रम आहे. जेव्हा प्रश्न अत्यंत विशिष्ट असतो, तेव्हा उच्च कार्यक्षमता असलेली मॉडेल्स देखील मोठ्या प्रमाणात वेगळी उत्तरे देतात.
- सर्च-ऑगमेंटेड (Search-augmented) मॉडेल्सचे वर्तन वेगळे असते. मायक्रोसॉफ्ट कोपायलट (Microsoft Copilot), जे थेट वेब रिझल्ट्स जोडते, त्याने अशी यादी दिली जी इतर कोणत्याही मॉडेलशी जुळत नव्हती.
- डिजिटल फूटप्रिंट्स दृश्यमानता वाढवतात. जे ब्रँड्स स्ट्रक्चर्ड डेटा आणि SEO मध्ये गुंतवणूक करतात ते अधिक वेळा दिसतात, परंतु हा फायदा विविध एआय प्रदात्यांमध्ये (AI providers) वेगवेगळा असू शकतो.
पुढे काय पाहावे
- हायब्रिड रिट्रिव्हल मॉडेल्स (Hybrid retrieval models): जसजसे अधिक प्रदाते मोठ्या प्रमाणावरील लँग्वेज मॉडेल्सना रिअल-टाइम सर्चशी जोडतील, तसतसे आपल्याला ओव्हरलॅपचे नवीन पॅटर्न—किंवा अधिक खोलवर विखंडन (fragmentation) पाहायला मिळू शकते.
निष्कर्ष
जेव्हा दहा आघाडीच्या LLMs कडून एका विशिष्ट प्रश्नासाठी २९ वेगवेगळ्या ब्रँड शिफारसी मिळतात, तेव्हा धडा स्पष्ट आहे: जनरेटिव्ह एआयमध्ये कोणताही एक "सत्य" (truth) नाही. ब्रँड्स आणि इंजिनिअर्सनी प्रत्येक मॉडेलच्या डेटा सोर्सकडे एक स्वतंत्र चॅनेल म्हणून पाहिले पाहिजे आणि एआय इकोसिस्टममध्ये दिसून येण्यासाठी स्ट्रक्चर्ड आणि शोधण्यायोग्य (searchable) फूटप्रिंट्स तयार केले पाहिजेत.
पूर्ण अभ्यास आणि कच्चा डेटा (raw data): https://dev.to/dan_cristian_c97aa535c495/we-asked-10-llms-to-recommend-brands-they-gave-us-29-different-answers-27ap