ನಾನು 5 ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳ ಮೂಲಕ 10 AI ಮಾಡೆಲ್ಗಳನ್ನು ಪರೀಕ್ಷಿಸಿದೆ
2026ರ ಅತ್ಯುತ್ತಮ ಕೋಡಿಂಗ್ AI ಮಾಡೆಲ್ಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ನಾನು ಮೂರು ದಿನಗಳ ಬೆಂಚ್ಮಾರ್ಕ್ ಪರೀಕ್ಷೆಯನ್ನು ನಡೆಸಿದೆ. ನಾನು 5 ವಿಭಿನ್ನ ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ 10 ಮಾಡೆಲ್ಗಳನ್ನು ಪರೀಕ್ಷಿಸಿದೆ. ಹೆಚ್ಚಿನ ಬೆಲೆ ಉತ್ತಮ ಕೋಡ್ಗೆ ಕಾರಣವಾಗುತ್ತದೆಯೇ ಎಂದು ನಾನು ನೋಡಲು ಬಯಸಿದೆ.
ನಾನು 50 ಸ್ಕೋರ್ ಮಾಡಲಾದ ಸಂವಹನಗಳನ್ನು ಬಳಸಿದೆ. ನಾನು ನಿಖರತೆ, ಕೋಡ್ ಗುಣಮಟ್ಟ, ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಮತ್ತು ಎಡ್ಜ್ ಕೇಸ್ಗಳನ್ನು (edge cases) ಗಮನಿಸಿದೆ.
ನಾನು ಪರೀಕ್ಷಿಸಿದ ಮಾಡೆಲ್ಗಳು:
- DeepSeek V4 Flash ($0.25)
- DeepSeek Coder ($0.25)
- Qwen3-Coder-30B ($0.35)
- DeepSeek-R1 ($2.50)
- Kimi K2.5 ($3.00)
- (ಮತ್ತು ಇತರ 5 ಮಾಡೆಲ್ಗಳು)
ಫಲಿತಾಂಶಗಳು:
- Qwen3-Coder-30B: 8.8 ಸ್ಕೋರ್ ($0.35)
- DeepSeek V4 Flash: 8.7 ಸ್ಕೋರ್ ($0.25)
- DeepSeek Coder: 8.6 ಸ್ಕೋರ್ ($0.25)
- DeepSeek-R1: 9.4 ಸ್ಕೋರ್ ($2.50)
- Kimi K2.5: 9.0 ಸ್ಕೋರ್ ($3.00)
ಪ್ರಮುಖ ಸಂಶೋಧನೆಗಳು:
- ಬೆಲೆ ಎಂದರೆ ಗುಣಮಟ್ಟ ಎಂದಲ್ಲ. ಬೆಲೆ ಮತ್ತು ಸ್ಕೋರ್ ನಡುವಿನ ಸಂಬಂಧವು ಬಹಳ ದುರ್ಬಲವಾಗಿದೆ.
- ದುಬಾರಿ ಮಾಡೆಲ್ಗಳಿಗಾಗಿ ನೀವು 'ಲಕ್ಸುರಿ ಟ್ಯಾಕ್ಸ್' ಪಾವತಿಸುತ್ತೀರಿ. Kimi K2.5 ಮಾಡೆಲ್ DeepSeek V4 Flash ಗಿಂತ 12 ಪಟ್ಟು ಹೆಚ್ಚು ವೆಚ್ಚವಾಗುತ್ತದೆ, ಆದರೆ ಕೇವಲ 0.3 ಅಂಕಗಳಷ್ಟು ಹೆಚ್ಚು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ.
- ಕಠಿಣ ಕಾರ್ಯಗಳಲ್ಲಿ ರೀಸನಿಂಗ್ (Reasoning) ಮಾಡೆಲ್ಗಳು ಗೆಲ್ಲುತ್ತವೆ. DeepSeek-R1 ಸಂಕೀರ್ಣ ಅಲ್ಗಾರಿದಮ್ಗಳು ಮತ್ತು ಸೆಕ್ಯುರಿಟಿ ರಿವ್ಯೂಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಆಳವಾದ ಲಾಜಿಕ್ ಕೆಲಸಗಳಿಗಾಗಿ ಇದು ಹೆಚ್ಚಿನ ವೆಚ್ಚಕ್ಕೆ ಯೋಗ್ಯವಾಗಿದೆ.
- ದೈನಂದಿನ ಕಾರ್ಯಗಳಲ್ಲಿ ಅಗ್ಗದ ಮಾಡೆಲ್ಗಳು ಗೆಲ್ಲುತ್ತವೆ. DeepSeek V4 Flash ಮತ್ತು Qwen3-Coder-30B ಮಾಡೆಲ್ಗಳು ಡಿಬಗ್ಗಿಂಗ್ ಮತ್ತು ಸಾಮಾನ್ಯ ಫಂಕ್ಷನ್ಗಳಿಗೆ ಪರಿಪೂರ್ಣವಾಗಿವೆ.
ಕಾರ್ಯಗಳ ವಿಂಗಡಣೆ:
- Python Recursion: DeepSeek-R1 ಪರಿಪೂರ್ಣ ವಿಶ್ಲೇಷಣೆಯೊಂದಿಗೆ ಗೆದ್ದಿದೆ.
- JavaScript Bug Fix: DeepSeek V4 Flash ಮತ್ತು Qwen3-Coder-30B ಅತ್ಯುತ್ತಮ ಮೌಲ್ಯಕ್ಕಾಗಿ ಸಮಾನವಾಗಿ ನಿಂತಿವೆ.
- TypeScript Algorithms: DeepSeek-R1 ಅತ್ಯುತ್ತಮ ಟೈಪ್ ಸೇಫ್ಟಿಯನ್ನು (type safety) ಒದಗಿಸಿದೆ.
- Go Security Review: DeepSeek-R1 ಎಲ್ಲಾ ಸಮಸ್ಯೆಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಿದೆ ಮತ್ತು ಪರೀಕ್ಷೆಗಳನ್ನು ಸೂಚಿಸಿದೆ.
ಸಾಮಾಜಿಕ ಮಾಧ್ಯಮಗಳಲ್ಲಿನ ಹೈಪ್ (hype) ಅನ್ನು ಅನುಸರಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನಿಮ್ಮ ಪರಿಕರಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಡೇಟಾವನ್ನು ಬಳಸಿ. ನಿಮಗೆ ದೈನಂದಿನ ಬಳಕೆಗೆ ಬೇಕಾದಲ್ಲಿ, ಅಗ್ಗದ ಮತ್ತು ಹೆಚ್ಚಿನ ಸ್ಕೋರ್ ಹೊಂದಿರುವ ಮಾಡೆಲ್ಗಳನ್ನು ಬಳಸಿ. ನೀವು ಕಠಿಣ ಗಣಿತ ಅಥವಾ ಲಾಜಿಕ್ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಬೇಕಿದ್ದರೆ, ರೀಸನಿಂಗ್ ಮಾಡೆಲ್ ಬಳಸಿ.
ಮೂಲ: https://dev.to/rarenode/i-ran-10-ai-models-through-5-coding-tasks-heres-the-full-data-4ie6
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi