જ્યારે રોમાનિયાના શ્રેષ્ઠ વેડિંગ-રિંગ બનાવનારાઓ વિશે પૂછવામાં આવ્યું ત્યારે દસ લાર્જ-લેંગ્વેજ મોડલ્સ (LLMs) એ 29 અલગ-અલગ લક્ઝરી-જ્વેલરી બ્રાન્ડ્સની યાદી આપી હતી, અને કોઈ પણ બ્રાન્ડ દરેકના જવાબમાં જોવા મળી નહોતી. આ વિતરણ દર્શાવે છે કે જનરેટિવ AI વચ્ચેનો "સંમતિ" (consensus) વાસ્તવિકતા કરતાં વધુ એક માન્યતા છે, ખાસ કરીને એવા નિશ (niche) પ્રશ્નો માટે જેના પર વ્યવસાયો પ્રભુત્વ મેળવવાની આશા રાખે છે.

આ પરીક્ષણ શા માટે મહત્વનું છે

ડેવલપર્સ ઘણીવાર એવું માનીને AI-સંચાલિત સર્ચ અથવા રેકમેન્ડેશન ફીચર્સ બનાવે છે કે વિવિધ મોડલ્સ સમાન તથ્યો પર એકમત થશે. જો કોઈ બ્રાન્ડની વિઝિબિલિટી માત્ર એક જ AI ના આઉટપુટ પર નિર્ભર હોય, તો વિરોધાભાસી જવાબ અન્ય જગ્યાએ તે એક્સપોઝરને ખતમ કરી શકે છે. આ પ્રયોગ સાબિત કરે છે કે તે ધારણા નાજુક છે અને તે દર્શાવે છે કે દરેક મોડલનું ડેટા પાઇપલાઇન મોડલ જેટલું જ મહત્વ ધરાવે છે.

પ્રયોગનો ટૂંકમાં સારાંશ

  • મોડલ્સ: ChatGPT, Claude, Gemini, Copilot, Grok, Perplexity, DeepSeek, Kimi, GLM અને Qwen.
  • પ્રોમ્પ્ટ: “Give me a top-5 list of luxury jewelry brands in Romania for wedding rings.” કોઈ બ્રાન્ડના સંકેતો વગર, દરેક મોડલ માટે એક નવું સત્ર.
  • સ્લોટ્સ: 10 મોડલ્સ × 5 પોઝિશન = કુલ 50 ભલામણો.

નોંધપાત્ર આંકડાઓ

  • 29 અનન્ય બ્રાન્ડ્સ એ 50 સ્લોટ્સ ભર્યા.
  • તેમાંથી 66% બ્રાન્ડ્સ માત્ર એક જ મોડલના જવાબમાં જોવા મળી હતી.
  • કોઈપણ બે મોડલ્સ વચ્ચેનું સરેરાશ ઓવરલેપ (સમાનતા) 18% હતું.
  • દસમાંથી કોઈ પણ મોડલે તમામ બ્રાન્ડ્સનો ઉલ્લેખ કર્યો નહોતો.

કોણ સૌથી વધુ વખત જોવા મળ્યું?

બ્રાન્ડ મોડલ્સમાં જોવા મળી
TEILOR 6
Malvensky 5
Sabion, Coriolan, KULTHO, Sabrini દરેકના 3

TEILOR અને Malvensky પાસે મજબૂત સ્કીમા માર્કઅપ (schema markup) અને વારંવાર પ્રેસમાં ઉલ્લેખ હોય છે, જે કદાચ તેમને વિવિધ સિસ્ટમ્સમાં દેખાવામાં મદદ કરે છે.

ડેટા એન્જિનિયર્સને શું કહે છે

  • નિશ (niche) બજારોમાં સંમતિ એ માત્ર એક ભ્રમ છે. જ્યારે પ્રશ્ન ચોક્કસ હોય ત્યારે ઉચ્ચ પ્રદર્શન કરતા મોડલ્સ પણ નોંધપાત્ર રીતે અલગ પડે છે.
  • સર્ચ-ઓગમેન્ટેડ મોડલ્સ અલગ રીતે વર્તે છે. Microsoft Copilot, જે લાઈવ વેબ પરિણામો ઉમેરે છે, તેણે એવી યાદી બનાવી જે અન્ય કોઈ મોડલ સાથે સુસંગત નહોતી.
  • ડિજિટલ ફૂટપ્રિન્ટ્સ વિઝિબિલિટી વધારે છે. જે બ્રાન્ડ્સ સ્ટ્રક્ચર્ડ ડેટા અને SEO માં રોકાણ કરે છે તે વધુ વાર દેખાય છે, પરંતુ આ ફાયદો વિવિધ AI પ્રોવાઇડર્સ વચ્ચે અલગ-અલગ હોય છે.

આગળ શું જોવું

  • હાઇબ્રિડ રિટ્રાઇવલ મોડલ્સ: જેમ જેમ વધુ પ્રોવાઇડર્સ મોટા પાયે લેંગ્વેજ મોડલ્સને રિયલ-ટાઇમ સર્ચ સાથે જોડાશે, તેમ આપણે નવા ઓવરલેપ પેટર્ન અથવા વધુ ઊંડા વિભાજન (fragmentation) જોઈ શકીએ છીએ.

મુખ્ય નિષ્કર્ષ

જ્યારે દસ અગ્રણી LLMs માંથી નિશ પ્રશ્ન માટે 29 અલગ-અલગ બ્રાન્ડ ભલામણો મળે છે, ત્યારે પાઠ સ્પષ્ટ છે: જનરેટિવ AI માં કોઈ એક સિંગલ "સત્ય" નથી. જો બ્રાન્ડ્સ અને એન્જિનિયરો AI ઇકોસિસ્ટમમાં દેખાવા માંગતા હોય, તો તેમણે દરેક મોડલના ડેટા સોર્સને અલગ ચેનલ તરીકે ગણવું જોઈએ અને સ્ટ્રક્ચર્ડ, સર્ચેબલ ફૂટપ્રિન્ટ્સ બનાવવી જોઈએ.

સંપૂર્ણ અભ્યાસ અને કાચો ડેટા: https://dev.to/dan_cristian_c97aa535c495/we-asked-10-llms-to-recommend-brands-they-gave-us-29-different-answers-27ap