పది లార్జ్-లాంగ్వేజ్ మోడల్స్ (LLMs) రోమేనియాలోని ఉత్తమ వెడ్డింగ్ రింగ్ తయారీదారుల గురించి అడిగినప్పుడు, 29 విభిన్న లగ్జరీ జ్యువెలరీ బ్రాండ్‌లను పేర్కొన్నాయి, మరియు ఏ ఒక్క బ్రాండ్ కూడా అన్ని సమాధానాలలో కనిపించలేదు. ఈ వ్యత్యాసం చూపిస్తున్నదేమిటంటే, జనరేటివ్ AIల మధ్య ఉండే "ఏకాభిప్రాయం" (consensus) అనేది వాస్తవం కంటే ఎక్కువగా ఒక అపోహ మాత్రమే, ముఖ్యంగా వ్యాపారాలు తమ ఆధిపత్యాన్ని ప్రదర్శించాలని ఆశించే నిష్ (niche) ప్రశ్నల విషయంలో ఇది స్పష్టంగా కనిపిస్తుంది.

ఈ పరీక్ష ఎందుకు ముఖ్యం

వివిధ మోడల్స్ ఒకే రకమైన వాస్తవాలపై ఆధారపడతాయని భావిస్తూ డెవలపర్లు తరచుగా AI-ఆధారిత సెర్చ్ లేదా రికమెండేషన్ ఫీచర్లను రూపొందిస్తారు. ఒక బ్రాండ్ యొక్క విజిబిలిటీ అనేది ఒకే ఒక AI అవుట్‌పుట్‌పై ఆధారపడి ఉంటే, ఇతర మోడల్స్ ఇచ్చే భిన్నమైన సమాధానం ఆ బ్రాండ్ యొక్క ఎక్స్‌పోజర్‌ను దెబ్బతీస్తుంది. ఈ ప్రయోగం ఆ ఊహ ఎంత బలహీనమైనదో నిరూపించడమే కాకుండా, ప్రతి మోడల్ యొక్క డేటా పైప్‌లైన్ ఎంత ముఖ్యమో కూడా తెలియజేస్తుంది.

ప్రయోగం క్లుప్తంగా

  • Models: ChatGPT, Claude, Gemini, Copilot, Grok, Perplexity, DeepSeek, Kimi, GLM మరియు Qwen.
  • Prompt: “Give me a top-5 list of luxury jewelry brands in Romania for wedding rings.” బ్రాండ్ల గురించి ఎటువంటి హింట్స్ ఇవ్వలేదు, ప్రతి మోడల్‌కు కొత్త సెషన్‌ను ఉపయోగించాము.
  • Slots: 10 మోడల్స్ × 5 పొజిషన్స్ = మొత్తం 50 రికమెండేషన్లు.

గమనార్హమైన గణాంకాలు

  • 50 స్లాట్‌లను 29 విభిన్న బ్రాండ్‌లు నింపాయి.
  • ఆ బ్రాండ్‌లలో 66% కేవలం ఒక మోడల్ సమాధానంలో మాత్రమే కనిపించాయి.
  • ఏవైనా రెండు మోడల్స్ మధ్య సగటు ఓవర్‌ల్యాప్ (average overlap) 18% గా ఉంది.
  • పది మోడల్స్ అన్నింటిలోనూ ఏ ఒక్క బ్రాండ్ కూడా పేర్కొనబడలేదు.

ఏ బ్రాండ్‌లు ఎక్కువగా కనిపించాయి?

బ్రాండ్ మోడల్స్‌లో కనిపించిన సంఖ్య
TEILOR 6
Malvensky 5
Sabion, Coriolan, KULTHO, Sabrini ఒక్కొక్కటి 3

TEILOR మరియు Malvensky బ్రాండ్‌లకు బలమైన స్కీమా మార్కప్ (schema markup) మరియు తరచుగా ప్రెస్ మెన్షన్స్ ఉండటం వల్ల, అవి బహుళ సిస్టమ్‌లలో కనిపించడానికి అవకాశం ఉంది.

ఈ డేటా ఇంజనీర్లకు ఏం చెబుతోంది

  • నిష్ మార్కెట్‌లలో ఏకాభిప్రాయం అనేది ఒక భ్రమ. ప్రశ్న చాలా నిర్దిష్టంగా ఉన్నప్పుడు, అత్యుత్తమ పనితీరు కనబరిచే మోడల్స్ కూడా విపరీతమైన తేడాలను చూపుతాయి.
  • సెర్చ్-ఆగ్మెంటెడ్ (Search-augmented) మోడల్స్ భిన్నంగా ప్రవర్తిస్తాయి. లైవ్ వెబ్ రిజల్ట్స్‌ను జోడించే Microsoft Copilot, ఇతర ఏ మోడల్‌తోనూ ఓవర్‌ల్యాప్ లేని జాబితాను అందించింది.
  • డిజిటల్ ఫుట్‌ప్రింట్స్ విజిబిలిటీని పెంచుతాయి. స్ట్రక్చర్డ్ డేటా మరియు SEOలో పెట్టుబడి పెట్టే బ్రాండ్‌లు తరచుగా కనిపిస్తాయి, కానీ ఈ ప్రయోజనం AI ప్రొవైడర్లను బట్టి మారుతూ ఉంటుంది.

తదుపరి గమనించాల్సిన అంశాలు

  • హైబ్రిడ్ రిట్రీవల్ మోడల్స్ (Hybrid retrieval models): ఎక్కువ మంది ప్రొవైడర్లు లార్జ్-స్కేల్ లాంగ్వేజ్ మోడల్స్‌ను రియల్-టైమ్ సెర్చ్‌తో కలిపే కొద్దీ, మనం కొత్త ఓవర్‌ల్యాప్ ప్యాటర్న్స్‌ను లేదా మరింత లోతైన విభజనను (fragmentation) చూడవచ్చు.

ముగింపు

పది ప్రముఖ LLMల నుండి ఒక నిష్ క్వెరీ 29 విభిన్న బ్రాండ్ రికమెండేషన్లను ఇచ్చినప్పుడు, పాఠం స్పష్టంగా ఉంది: జనరేటివ్ AIలో ఒకే ఒక్క "నిజం" అంటూ ఏదీ లేదు. బ్రాండ్‌లు మరియు ఇంజనీర్లు AI ఎకోసిస్టమ్ అంతటా కనిపించాలనుకుంటే, ప్రతి మోడల్ యొక్క డేటా సోర్స్‌ను ఒక ప్రత్యేక ఛానెల్‌గా పరిగణించాలి మరియు స్ట్రక్చర్డ్, సెర్చబుల్ ఫుట్‌ప్రింట్స్‌ను నిర్మించుకోవాలి.

పూర్తి అధ్యయనం మరియు ముడి డేటా: https://dev.to/dan_cristian_c97aa535c495/we-asked-10-llms-to-recommend-brands-they-gave-us-29-different-answers-27ap