ಹತ್ತು ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು (LLMs) ರೋಮೇನಿಯಾದ ಅತ್ಯುತ್ತಮ ಮದುವೆ ಉಂಗುರ ತಯಾರಕರ ಬಗ್ಗೆ ಕೇಳಿದಾಗ 29 ವಿಭಿನ್ನ ಐಷಾರಾಮಿ ಆಭರಣ ಬ್ರ್ಯಾಂಡ್ಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿವೆ, ಮತ್ತು ಯಾವುದೇ ಬ್ರ್ಯಾಂಡ್ ಪ್ರತಿ ಉತ್ತರದಲ್ಲೂ ಕಂಡುಬಂದಿಲ್ಲ. ಈ ವ್ಯತ್ಯಾಸವು ಜನರೇಟಿವ್ AIಗಳಲ್ಲಿನ "ಒಮ್ಮತ"ವು ವಾಸ್ತವಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಕಲ್ಪನೆಯಾಗಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ವ್ಯವಹಾರಗಳು ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸಲು ಬಯಸುವ ನಿಶ್ಚಿತ (niche) ಪ್ರಶ್ನೆಗಳ ವಿಷಯದಲ್ಲಿ ಇದು ಹೆಚ್ಚು ಅನ್ವಯಿಸುತ್ತದೆ.
ಈ ಪರೀಕ್ಷೆಯ ಮಹತ್ವವೇನು
ವಿವಿಧ ಮಾದರಿಗಳು ಒಂದೇ ರೀತಿಯ ಸತ್ಯಗಳ ಮೇಲೆ ಒಗ್ಗೂಡುತ್ತವೆ ಎಂದು ಭಾವಿಸಿ ಡೆವಲಪರ್ಗಳು ಹೆಚ್ಚಾಗಿ AI-ಚಾಲಿತ ಹುಡುಕಾಟ ಅಥವಾ ಶಿಫಾರಸು ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಾರೆ. ಒಂದು ಬ್ರ್ಯಾಂಡ್ನ ದೃಶ್ಯತೆಯನ್ನು (visibility) ಕೇವಲ ಒಂದು AI ನ ಔಟ್ಪುಟ್ ಮೇಲೆ ಅವಲಂಬಿಸಿದ್ದರೆ, ವಿಭಿನ್ನವಾದ ಉತ್ತರವು ಆ ಬ್ರ್ಯಾಂಡ್ನ ಪ್ರಚಾರವನ್ನು ಬೇರೆಡೆ ಸಂಪೂರ್ಣವಾಗಿ ಇಲ್ಲದಂತೆ ಮಾಡಬಹುದು. ಈ ಪ್ರಯೋಗವು ಆ ಊಹೆಯು ದುರ್ಬಲವಾಗಿದೆ ಎಂದು ಸಾಬೀತುಪಡಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿಯೊಂದು ಮಾದರಿಯ ಡೇಟಾ ಪೈಪ್ಲೈನ್ ಎಷ್ಟು ಮುಖ್ಯ ಎಂಬುದನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ.
ಪ್ರಯೋಗದ ಸಂಕ್ಷಿಪ್ತ ಮಾಹಿತಿ
- ಮಾದರಿಗಳು: ChatGPT, Claude, Gemini, Copilot, Grok, Perplexity, DeepSeek, Kimi, GLM ಮತ್ತು Qwen.
- ಪ್ರಾಂಪ್ಟ್: “ರೋಮೇನಿಯಾದಲ್ಲಿ ಮದುವೆ ಉಂಗುರಗಳಿಗಾಗಿ ಐಷಾರಾಮಿ ಆಭರಣ ಬ್ರ್ಯಾಂಡ್ಗಳ ಟಾಪ್-5 ಪಟ್ಟಿಯನ್ನು ನೀಡಿ.” ಯಾವುದೇ ಬ್ರ್ಯಾಂಡ್ ಸುಳಿವುಗಳಿಲ್ಲದೆ, ಪ್ರತಿ ಮಾದರಿಗೂ ಹೊಸ ಸೆಷನ್ ಬಳಸಲಾಗಿದೆ.
- ಸ್ಲಾಟ್ಗಳು: 10 ಮಾದರಿಗಳು × 5 ಸ್ಥಾನಗಳು = ಒಟ್ಟು 50 ಶಿಫಾರಸುಗಳು.
ಗಮನಾರ್ಹ ಅಂಕಿಅಂಶಗಳು
- 29 ವಿಶಿಷ್ಟ ಬ್ರ್ಯಾಂಡ್ಗಳು 50 ಸ್ಲಾಟ್ಗಳನ್ನು ತುಂಬಿವೆ.
- ಆ ಬ್ರ್ಯಾಂಡ್ಗಳಲ್ಲಿ 66% ರಷ್ಟು ಕೇವಲ ಒಂದು ಮಾದರಿಯ ಉತ್ತರದಲ್ಲಿ ಮಾತ್ರ ಕಂಡುಬಂದಿವೆ.
- ಯಾವುದೇ ಎರಡು ಮಾದರಿಗಳ ನಡುವಿನ ಸರಾಸರಿ ಸಾಮ್ಯತೆ (average overlap) 18% ಆಗಿತ್ತು.
- ಹತ್ತು ಮಾದರಿಗಳೂ ಸಹ ಒಂದೇ ಬ್ರ್ಯಾಂಡ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸಿಲ್ಲ.
ಯಾವ ಬ್ರ್ಯಾಂಡ್ಗಳು ಅತಿ ಹೆಚ್ಚು ಬಾರಿ ಕಂಡುಬಂದವು?
| ಬ್ರ್ಯಾಂಡ್ | ಮಾದರಿಗಳಲ್ಲಿ ಕಂಡುಬಂದಿದೆ |
|---|---|
| TEILOR | 6 |
| Malvensky | 5 |
| Sabion, Coriolan, KULTHO, Sabrini | ತಲಾ 3 |
TEILOR ಮತ್ತು Malvensky ಬ್ರ್ಯಾಂಡ್ಗಳು ಬಲವಾದ schema markup ಮತ್ತು ಪದೇ ಪದೇ ಮಾಧ್ಯಮಗಳಲ್ಲಿ ಉಲ್ಲೇಖಿಸಲ್ಪಟ್ಟಿರುವುದರಿಂದ, ಅವು ಬಹು ಮಾದರಿಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಸಹಾಯವಾಗಿರಬಹುದು.
ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳಿಗೆ ಏನು ಹೇಳುತ್ತದೆ
- ನಿಶ್ಚಿತ ಮಾರುಕಟ್ಟೆಗಳಲ್ಲಿ (niche markets) ಒಮ್ಮತವು ಕೇವಲ ಭ್ರಮೆ. ಪ್ರಶ್ನೆಯು ನಿರ್ದಿಷ್ಟವಾಗಿದ್ದಾಗ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮಾದರಿಗಳು ಸಹ ತೀವ್ರವಾಗಿ ಭಿನ್ನವಾಗಿರುತ್ತವೆ.
- ಸರ್ಚ್-ಆಗ್ಮೆಂಟೆಡ್ (Search-augmented) ಮಾದರಿಗಳು ವಿಭಿನ್ನವಾಗಿ ವರ್ತಿಸುತ್ತವೆ. ಲೈವ್ ವೆಬ್ ಫಲಿತಾಂಶಗಳನ್ನು ಸೇರಿಸುವ Microsoft Copilot, ಇತರ ಯಾವುದೇ ಮಾದರಿಯೊಂದಿಗೆ ಸಾಮ್ಯತೆ ಹೊಂದದ ಪಟ್ಟಿಯನ್ನು ನೀಡಿದೆ.
- ಡಿಜಿಟಲ್ ಫುಟ್ಪ್ರಿಂಟ್ಗಳು ದೃಶ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತವೆ. ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಡೇಟಾ ಮತ್ತು SEO ನಲ್ಲಿ ಹೂಡಿಕೆ ಮಾಡುವ ಬ್ರ್ಯಾಂಡ್ಗಳು ಹೆಚ್ಚು ಬಾರಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆ, ಆದರೆ ಈ ಪ್ರಯೋಜನವು AI ಪ್ರೊವೈಡರ್ಗಳ ನಡುವೆ ವ್ಯತ್ಯಾಸವಾಗುತ್ತದೆ.
ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು
- ಹೈಬ್ರಿಡ್ ರಿಟ್ರಿೀವಲ್ ಮಾದರಿಗಳು (Hybrid retrieval models): ಹೆಚ್ಚಿನ ಪ್ರೊವೈಡರ್ಗಳು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ನೈಜ-ಸಮಯದ ಹುಡುಕಾಟದೊಂದಿಗೆ ಬೆರೆಸುತ್ತಾ ಹೋದಂತೆ, ನಾವು ಹೊಸ ರೀತಿಯ ಸಾಮ್ಯತೆಗಳನ್ನು ಅಥವಾ ಇನ್ನೂ ಹೆಚ್ಚಿನ ವಿಭಜನೆಯನ್ನು ನೋಡಬಹುದು.
ಸಾರಾಂಶ
ಹತ್ತು ಪ್ರಮುಖ LLMಗಳಿಂದ ಒಂದು ನಿಶ್ಚಿತ ಪ್ರಶ್ನೆಗೆ 29 ವಿಭಿನ್ನ ಬ್ರ್ಯಾಂಡ್ ಶಿಫಾರಸುಗಳು ಬಂದಾಗ, ಪಾಠವು ಸ್ಪಷ್ಟವಾಗಿದೆ: ಜನರೇಟಿವ್ AI ಯಲ್ಲಿ ಯಾವುದೇ ಒಂದೇ "ಸತ್ಯ"ವಿಲ್ಲ. ಬ್ರ್ಯಾಂಡ್ಗಳು ಮತ್ತು ಎಂಜಿನಿಯರ್ಗಳು AI ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಾದ್ಯಂತ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಬಯಸಿದರೆ, ಪ್ರತಿಯೊಂದು ಮಾದರಿಯ ಡೇಟಾ ಮೂಲವನ್ನು ಪ್ರತ್ಯೇಕ ಚಾನಲ್ ಎಂದು ಪರಿಗಣಿಸಬೇಕು ಮತ್ತು ಸ್ಟ್ರಕ್ಚರ್ಡ್, ಸರ್ಚಬಲ್ ಫುಟ್ಪ್ರಿಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸಬೇಕು.
ಪೂರ್ಣ ಅಧ್ಯಯನ ಮತ್ತು ಕಚ್ಚಾ ಡೇಟಾ: https://dev.to/dan_cristian_c97aa535c495/we-asked-10-llms-to-recommend-brands-they-gave-us-29-different-answers-27ap