PrismML ನ ಹೊಸ Bonsai 27B 1-bit ಮಾಡೆಲ್ 3.9 GB ಫೈಲ್‌ನಲ್ಲಿ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಮತ್ತು iPhone 17 Pro Max ನಲ್ಲಿ ಸೆಕೆಂಡಿಗೆ ಸುಮಾರು 11 ಟೋಕನ್‌ಗಳ ವೇಗದಲ್ಲಿ ಚಲಿಸುತ್ತದೆ, ಇದು 27-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಹೊಂದಿರುವ ಭಾಷಾ ಮಾಡೆಲ್ ಅನ್ನು ಗ್ರಾಹಕರ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ನಲ್ಲಿ ಬಳಸಬಹುದು ಎಂಬುದಕ್ಕೆ ಸಾಕ್ಷಿಯಾಗಿದೆ. ಈ ಸಾಧನೆಯು ಡೇಟಾವನ್ನು ಕ್ಲೌಡ್‌ಗೆ ಕಳುಹಿಸದೆ, ಹೆಚ್ಚು ಸಮರ್ಥವಾದ ಆಫ್‌ಲೈನ್ ಅಸಿಸ್ಟೆಂಟ್‌ಗಳನ್ನು ಭರವಸೆ ನೀಡುವ ಮೂಲಕ ಆನ್-ಡೈವೈಸ್ AI (on-device AI) ನ ಮಿತಿಯನ್ನು ವಿಸ್ತರಿಸುವುದರಿಂದ ಇದು ಬಹಳ ಮುಖ್ಯವಾಗಿದೆ.

ಈ ಕಡಿತ ಏಕೆ ಮುಖ್ಯ

ಪೂರ್ಣ ನಿಖರತೆಯ (full-precision) Bonsai 27B ಮಾಡೆಲ್ 54.7 GB ಗಾತ್ರವನ್ನು ಹೊಂದಿದೆ. ಮಾಡೆಲ್ ಅನ್ನು ಸಿಂಗಲ್-ಬಿಟ್ ಪ್ರತಿನಿಧಿಗೆ (single-bit representation) ಕ್ವಾಂಟೈಸ್ ಮಾಡುವ ಮೂಲಕ, PrismML ಅದನ್ನು 3.9 GB ಗೆ ಕುಗ್ಗಿಸಿದೆ—ಅಂದರೆ ಗಾತ್ರದಲ್ಲಿ 14 ಪಟ್ಟು ಕಡಿತ ಮಾಡಲಾಗಿದೆ. ಈ ಸಂಕುಚಿತಗೊಳಿಸುವಿಕೆಯು (compression) ಮಾಡೆಲ್ ಅನ್ನು ಹೈ-ಎಂಡ್ ಐಫೋನ್‌ಗಳಲ್ಲಿ ತಾಂತ್ರಿಕವಾಗಿ ಸಂಗ್ರಹಿಸಲು ಸಾಧ್ಯವಾಗುವಂತೆ ಮಾಡುತ್ತದೆ, ಈ ಮೊದಲು ಕೆಲವು ನೂರಾರು ಮೆಗಾಬೈಟ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚಿನ ಗಾತ್ರದ ಮಾಡೆಲ್‌ಗಳನ್ನು ಇವುಗಳಲ್ಲಿ ಇರಿಸಲು ಸಾಧ್ಯವಿರಲಿಲ್ಲ.

ಆಪಲ್ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಮಾಡೆಲ್ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ

PrismML ಈ ಮಾಡೆಲ್ ಅನ್ನು ಆಪಲ್‌ನ MLX stack ಗಾಗಿ ನಿರ್ಮಿಸಿದೆ, ಇದು ಡೆವಲಪರ್‌ಗಳು ನ್ಯೂರಲ್ ಎಂಜಿನ್‌ನಲ್ಲಿ ನೇರವಾಗಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಚಲಾಯಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುವ APIಗಳ ಗುಂಪಾಗಿದೆ. ತನ್ನ ಸ್ವಂತ ಪರೀಕ್ಷೆಯಲ್ಲಿ, ಈ ಮಾಡೆಲ್ iPhone 17 Pro Max ನಲ್ಲಿ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಸರಿಸುಮಾರು 11 ಟೋಕನ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸಿತು. 15 ಪ್ರಮಾಣಿತ ಭಾಷಾ-ಮಾಡಲ್ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ, 1-ಬಿಟ್ ಆವೃತ್ತಿಯು ಮೂಲ ಮಾಡೆಲ್‌ನ ಗುಣಮಟ್ಟದ ಅಂಕಗಳ ಶೇಕಡಾ 89.5 ರಷ್ಟನ್ನು ಉಳಿಸಿಕೊಂಡಿದೆ, ಇದು ಸಂಕುಚಿತಗೊಳಿಸುವಿಕೆಯು ಅದರ ಉಪಯುಕ್ತತೆಯನ್ನು ಕುಂಠಿತಗೊಳಿಸಿಲ್ಲ ಎಂಬುದನ್ನು ಸೂಚಿಸುತ್ತದೆ.

ನೀವು ಎದುರಿಸಬಹುದಾದ ಪ್ರಾಯೋಗಿಕ ಮಿತಿಗಳು

  • ಮೆಮೊರಿ ಒತ್ತಡ (Memory pressure) – 3.9 GB ಫೈಲ್ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ, ಆದರೆ ಇತ್ತೀಚಿನ ಸಂದರ್ಭವನ್ನು (context) ಸಂಗ್ರಹಿಸಲು ಮಾಡೆಲ್‌ಗೆ ಕೀ-ವ್ಯಾಲ್ಯೂ (KV) ಕ್ಯಾಶ್ ಕೂಡ ಬೇಕಾಗುತ್ತದೆ. ಸಂಭಾಷಣೆಯ ಉದ್ದಕ್ಕೆ ಅನುಗುಣವಾಗಿ ಆ ಕ್ಯಾಶ್ ಬೆಳೆಯುತ್ತದೆ ಮತ್ತು ಫೋನ್‌ನ RAM ಬಳಕೆಯನ್ನು ಹೆಚ್ಚಿಸಬಹುದು, ಇದು ವೇಗವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು.
  • ಬಿಸಿ ಮತ್ತು ಬ್ಯಾಟರಿ – 27-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಹೊಂದಿರುವ ನೆಟ್‌ವರ್ಕ್ ಅನ್ನು ಚಲಾಯಿಸುವುದು ನ್ಯೂರಲ್ ಎಂಜಿನ್ ಮೇಲೆ ಹೆಚ್ಚಿನ ಒತ್ತಡವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ. ನಿರಂತರ ಲೋಡ್ ಅಡಿಯಲ್ಲಿ ಫೋನ್‌ಗಳು ಬಿಸಿಯಾಗುವ ಸಾಧ್ಯತೆ ಇರುತ್ತದೆ ಮತ್ತು ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ರಕ್ಷಿಸಲು ಆಪಲ್‌ನ ಥರ್ಮಲ್ ಮ್ಯಾನೇಜ್‌ಮೆಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. PrismML ಬ್ಯಾಟರಿ ಬಳಕೆಯ ನಿಖರವಾದ ಅಂಕಿಅಂಶಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿಲ್ಲ, ಆದ್ದರಿಂದ ದಿನವಿಡೀ ಬಳಕೆಯಾಗುವಾಗ ಇದರ ನಿಜವಾದ ಪರಿಣಾಮವು ತಿಳಿದಿಲ್ಲ.
  • ಸಾಧನಗಳ ವಿಶಿಷ್ಟತೆ (Device specificity) – ಈ ಕಾರ್ಯಕ್ಷಮತೆಯ ಹೇಳಿಕೆಯು ಇತ್ತೀಚಿನ iPhone 17 Pro Max ಗೆ ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತದೆ. ಹಳೆಯ ಐಫೋನ್‌ಗಳು, ಕಡಿಮೆ ಮಟ್ಟದ iOS ಸಾಧನಗಳು ಅಥವಾ ಆಂಡ್ರಾಯ್ಡ್ ಫೋನ್‌ಗಳಲ್ಲಿ ಅಂತಹ ನ್ಯೂರಲ್-ಎಂಜಿನ್ ಸಾಮರ್ಥ್ಯಗಳಿಲ್ಲದ ಕಾರಣ, ಅವುಗಳಲ್ಲಿ ಇನ್ಫರೆನ್ಸ್ (inference) ನಿಧಾನವಾಗಬಹುದು ಅಥವಾ ಮಾಡೆಲ್ ಅಡಗಿವೇ ಇಲ್ಲದಿದ್ದರೂ ಸಹ.

ಯಾರು ಪ್ರಯೋಜನ ಪಡೆಯಬಹುದು ಮತ್ತು ಯಾರು ಹಿಂದೆ ಉಳಿಯಬಹುದು

ಗೌಪ್ಯತೆಗೆ ಆದ್ಯತೆ ನೀಡುವ (privacy-first) ಆ್ಯಪ್‌ಗಳ ಡೆವಲಪರ್‌ಗಳು ಈಗ ದೊಡ್ಡ ಭಾಷಾ ಮಾಡೆಲ್ ಅನ್ನು ಆನ್-ಡೈವೈಸ್‌ನಲ್ಲಿ ಹೋಸ್ಟ್ ಮಾಡಬಹುದು, ಇದರಿಂದ ಬಳಕೆದಾರರ ಡೇಟಾ ಫೋನ್‌ನಲ್ಲೇ ಇರುತ್ತದೆ. ಇದು ಕ್ಲೌಡ್ ಚಂದಾದಾರಿಕೆಯಿಲ್ಲದೆ ಹೆಚ್ಚು ಸ್ಪಂದಿಸುವ ಧ್ವನಿ ಸಹಾಯಕರು (voice assistants), ಆಫ್‌ಲೈನ್ ಅನುವಾದ ಅಥವಾ ಸಂದರ್ಭೋಚಿತ ಪಠ್ಯ ರಚನೆಯನ್ನು (contextual text generation) ನೀಡಬಹುದು.

ಆಂಡ್ರಾಯ್ಡ್ ತಯಾರಕರು ಮತ್ತು ಮಧ್ಯಮ ಶ್ರೇಣಿಯ ಫೋನ್‌ಗಳ ಬಳಕೆದಾರರು ಇದರಿಂದ ವಂಚಿತರಾಗುತ್ತಾರೆ. ಈ ಮಾಡೆಲ್ ಆಪಲ್‌ನ ಪ್ರೊಪ್ರೈಟರಿ ಸ್ಟ್ಯಾಕ್ (proprietary stack) ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ, ಆದ್ದರಿಂದ ಇದೇ ರೀತಿಯ ಸಂಕುಚಿತಗೊಳಿಸುವಿಕೆಯು ಇತರ ಎಕೋಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ತಾನಾಗಿಯೇ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ.

ಇನ್ನು ಪರೀಕ್ಷಿಸಬೇಕಾದವುಗಳು

PrismML ನ ಅಂಕಿಅಂಶಗಳು ಆಂತರಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಿಂದ ಬಂದಿವೆ. ಸ್ವತಂತ್ರ ಪರೀಕ್ಷಕರು ದೀರ್ಘ ಅವಧಿಯ ಸೆಷನ್‌ಗಳಲ್ಲಿ ಸೆಕೆಂಡಿಗೆ ಟೋಕನ್‌ಗಳ ದರವನ್ನು ಪರಿಶೀಲಿಸಬೇಕು, ನಿಜವಾದ ಬ್ಯಾಟರಿ ಬಳಕೆಯನ್ನು ಅಳೆಯಬೇಕು ಮತ್ತು KV ಕ್ಯಾಶ್ ವಿಸ್ತರಿಸಿದಂತೆ ಕಾರ್ಯಕ್ಷಮತೆಯು ಎಷ್ಟು ವೇಗವಾಗಿ ಕುಸಿಯುತ್ತದೆ ಎಂಬುದನ್ನು ಅಳೆಯಬೇಕು. ಒಂದು ಗಂಟೆಯ ಕಾಲ ಚಾಟ್ ಮಾಡುವುದು, ಕಂಟೆಂಟ್ ಸ್ಟ್ರೀಮಿಂಗ್ ಮಾಡುವುದು ಅಥವಾ ಇತರ ಆ್ಯಪ್‌ಗಳ ಜೊತೆಗೆ ಮಾಡೆಲ್ ಅನ್ನು ಚಲಾಯಿಸುವುದು ಅಂತಹ ನೈಜ-ಜಗತ್ತಿನ ಬಳಕೆಗಳು, ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಾಲಯದ ಹೊರಗೆ 11-ಟೋಕನ್-ಪ್ರತಿ-ಸೆಕೆಂಡ್ ಎಂಬ ಅಂಕಿಅಂಶವು ನಿಲ್ಲುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ.

ಸಾರಾಂಶ

Bonsai 27B