Microsoft announced the open-source BitNet framework, a tool that lets developers run 1-bit large language models (LLMs) on a single CPU and claim up to a six-fold speed boost over existing CPU-only inference code.

1-ಬಿಟ್ ಮಾಡೆಲ್ ಏಕೆ ಮುಖ್ಯ

ಹೆಚ್ಚಿನ ಆಧುನಿಕ LLMಗಳು 16 ಅಥವಾ 32-ಬಿಟ್ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಸಂಖ್ಯೆಗಳನ್ನು ಬಳಸುತ್ತವೆ, ಇದು ಮೆಮೊರಿ ಬಳಕೆ ಮತ್ತು ವಿದ್ಯುತ್ ಬಳಕೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. BitNet ಅವುಗಳ ಬದಲಿಗೆ "1.58-ಬಿಟ್" ಗಣಿತವನ್ನು ಬಳಸುತ್ತದೆ, ಇದು ಪ್ರತಿ ವೇಯ್ಟ್ ಅನ್ನು –1, 0, ಅಥವಾ +1 ಗೆ ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ. ಈ ಕಡಿತವು ಮಾಡೆಲ್ ಗಾತ್ರವನ್ನು ನಾಟಕೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ; 100-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಹೊಂದಿರುವ ನೆಟ್‌ವರ್ಕ್ ಅನ್ನು ಲ್ಯಾಪ್‌ಟಾಪ್-ತರ级的 CPU ಮೇಲೆ ಚಲಾಯಿಸಬಹುದು. ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರು BitNet ಆರ್ಕಿಟೆಕ್ಚರ್ ಬಳಸಿ ಮಾಡೆಲ್‌ಗಳನ್ನು ಮೊದಲಿನಿಂದಲೇ ತರಬೇತಿಗೊಳಿಸಬೇಕು; ಇದು ಕೇವಲ ಸರಳ ಪರಿವರ್ತನೆಯಲ್ಲ.

ವರದಿಯಾದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಲಾಭಗಳು

  • ಥ್ರೂಪುಟ್ (Throughput): ಒಂದೇ CPU ಕೋರ್‌ನಲ್ಲಿ ಸೆಕೆಂಡಿಗೆ 5–7 ಟೋಕನ್‌ಗಳು.
  • llama.cpp ಗೆ ಹೋಲಿಸಿದರೆ ವೇಗ: x86 ಪ್ರೊಸೆಸರ್‌ಗಳಲ್ಲಿ 2.37×-6.17× ಹೆಚ್ಚು ವೇಗ.
  • ಶಕ್ತಿ ಬಳಕೆ: ಅದೇ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ 82.2% ವರೆಗೆ ಕಡಿಮೆ ವಿದ್ಯುತ್ ಬಳಕೆ.
  • ಮೆಮೊರಿ: 16×-32× ಕಡಿಮೆ RAM ಅವಶ್ಯಕತೆ.

ಕೋಡ್‌ಬೇಸ್‌ನೊಂದಿಗೆ ಬಿಡುಗಡೆಯಾದ ಪ್ರಮುಖ ಮಾಡೆಲ್, BitNet-b1.58-2B-4T, 2.4 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. ಮೈಕ್ರೋಸಾಫ್ಟ್ ಈ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಅನುಮತಿಸುವ MIT ಲೈಸೆನ್ಸ್ ಅಡಿಯಲ್ಲಿ ನೀಡುತ್ತಿದ್ದು, ಯಾರೇ ಆದರೂ ತಮ್ಮದೇ ಆದ 1-ಬಿಟ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು, ಮಾರ್ಪಡಿಸಲು ಅಥವಾ ಮರುಹಂಚಿಕೆ ಮಾಡಲು ಆಹ್ವಾನಿಸುತ್ತದೆ.

ಎಡ್ಜ್-ಫಸ್ಟ್ (Edge-first) ಬಳಕೆಗಳ ಸಂದರ್ಭಗಳು

GPU ಇಲ್ಲದೆ ಇನ್ಫರೆನ್ಸ್ ಚಲಾಯಿಸುವುದು ಆಫ್‌ಲೈನ್ ಅಥವಾ ಗೌಪ್ಯತೆಗೆ ಸಂಬಂಧಿಸಿದ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ದಾರಿ ಮಾಡಿಕೊಡುತ್ತದೆ. ಸಣ್ಣ IoT ಸಾಧನಗಳು, ಫೀಲ್ಡ್-ಡಿಸ್ಪ್ಲೋಯ್ಡ್ ಡ್ರೋನ್‌ಗಳು ಮತ್ತು ಇಂಟರ್ನೆಟ್ ಸಂಪರ್ಕವಿಲ್ಲದ ಲ್ಯಾಪ್‌ಟಾಪ್‌ಗಳು ಭಾಷಾ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದು. ಕಡಿಮೆ ಶಕ್ತಿ ಬಳಕೆ ಬ್ಯಾಟರಿ ಚಾಲಿತ ಹಾರ್ಡ್‌ವೇರ್‌ಗಳಿಗೂ ಆಕರ್ಷಕವಾಗಿದೆ.

ಮಿತಿಗಳು ಯಾವುವು

ಅತಿದೊಡ್ಡ ಅಡೆತರೆಯೆಂದರೆ ಮೊದಲಿನಿಂದಲೇ ತರಬೇತಿಗೊಳಿಸುವುದು. Llama ನಂತಹ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಓಪನ್-ಸೋರ್ಸ್ ಮಾಡೆಲ್‌ಗಳನ್ನು BitNet ಫಾರ್ಮ್ಯಾಟ್‌ಗೆ ಸುಲಭವಾಗಿ "ಬಿಟ್-ಕ್ವಾಂಟೈಸ್" ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ; ಅವುಗಳನ್ನು ಮೂರು-ಮೌಲ್ಯದ ವೇಯ್ಟ್ ಸ್ಕೀಮ್‌ನೊಂದಿಗೆ ಮರುನಿರ್ಮಿಸಬೇಕಾಗುತ್ತದೆ.

ಯಾರು ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತಾರೆ, ಯಾರು ಹಾಗೆಯೇ ಇರುತ್ತಾರೆ

  • ಸ್ಟಾರ್ಟ್-ಅಪ್‌ಗಳು ಮತ್ತು ಹವ್ಯಾಸಿಗಳು: ಕಡಿಮೆ ಹಾರ್ಡ್‌ವೇರ್ ವೆಚ್ಚಗಳು ಪ್ರಯೋಗ ಮತ್ತು ಉತ್ಪನ್ನ ಪ್ರೊಟೊಟೈಪಿಂಗ್ ಅನ್ನು ವೇಗಗೊಳಿಸಬಹುದು.
  • ಕಟ್ಟುನಿಟ್ಟಾದ ಡೇಟಾ-ಸಾರ್ವಭೌಮತ್ವ ನೀತಿಗಳನ್ನು ಹೊಂದಿರುವ ಉದ್ಯಮಗಳು: ಆನ್-ಪ್ರೆಮಿಸ್ ಇನ್ಫರೆನ್ಸ್ ಡೇಟಾವನ್ನು ಕ್ಲೌಡ್ ಪ್ರೊವೈಡರ್‌ಗಳಿಗೆ ಕಳುಹಿಸುವುದನ್ನು ತಪ್ಪಿಸುತ್ತದೆ.
  • ದೊಡ್ಡ ಪ್ರಮಾಣದ AI ಪ್ರಯೋಗಾಲಯಗಳು: ತರಬೇತಿ ಮತ್ತು ಹೆಚ್ಚಿನ ಥ್ರೂಪುಟ್ ಸರ್ವಿಂಗ್‌ಗಾಗಿ GPUಗಳನ್ನು ಬಳಸುವುದನ್ನು ಮುಂದುವರಿಸುವ ಸಾಧ್ಯತೆಯಿದೆ, ಅಲ್ಲಿ ಕಚ್ಚಾ ವೇಗವು ಇನ್ನೂ ಮುಖ್ಯವಾಗಿರುತ್ತದೆ.

ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು

  • ಸಮುದಾಯದ ಅಳವಡಿಕೆ: BitNet ಫಾರ್ಮ್ಯಾಟ್‌ನಲ್ಲಿ ತರಬೇತಿಗೊಳಿಸಲಾದ ಮೂರನೇ ಪಾರ್ಟಿ ಮಾಡೆಲ್‌ಗಳ ಸಂಖ್ಯೆಯು ಪರಿಸರ ವ್ಯವಸ್ಥೆಯು ಎಷ್ಟು ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ.
  • ಟೂಲಿಂಗ್ ಇಂಟಿಗ್ರೇಷನ್: ಜನಪ್ರಿಯ ತರಬೇತಿ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ನಿಯೋಜನೆ (deployment) ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳೊಂದಿಗೆ ಹೊಂದಾಣಿಕೆಯು ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಹೆಚ್ಚು ಸುಲಭವಾಗಿ ಬಳಸುವಂತೆ ಮಾಡಬಹುದು.
  • ನೈಜ-ಪ್ರಪಂಚದ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು: ವಿವಿಧ ಹಾರ್ಡ್‌ವೇರ್‌ಗಳಲ್ಲಿ ನಿಖರತೆ, ವಿಳಂಬ (latency) ಮತ್ತು ಶಕ್ತಿಯ ಸ್ವತಂತ್ರ ಅಳತೆಗಳು, ಪ್ರತಿಪಾದಿಸಲಾದ ಲಾಭಗಳು ಪ್ರಯೋಗಾಲಯದ ಹೊರಗೂ ಉಳಿಯುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತವೆ.
  • ಹೆಚ್ಚಿನ ಕ್ವಾಂಟೈಸೇಶನ್ ಸಂಶೋಧನೆ: ಸಂಶೋಧಕರು ಗುಣಮಟ್ಟವನ್ನು ಬಲಿಕೊಡದೆ ಬಿಟ್-ವಿಡ್ತ್ ಅನ್ನು ಇನ್ನಷ್ಟು ಕಡಿಮೆ ಮಾಡಿದರೆ, CPU-ಮಾತ್ರದ ಕನಸು ಹೆಚ್ಚು ವಾಸ್ತವಿಕವಾಗುತ್ತದೆ.

ದೈನಂದಿನ ಪ್ರೊಸೆಸರ್‌ಗಳಲ್ಲಿ ಬೃಹತ್ ಭಾಷಾ ಮಾಡೆಲ್‌ಗಳನ್ನು ಚಲಾಯಿಸುವುದು ತಾಂತ್ರಿಕವಾಗಿ ಸಾಧ್ಯ ಎಂಬುದನ್ನು BitNet ಸಾಬೀತುಪಡಿಸುತ್ತದೆ, ಆದರೆ ಇದು ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ GPUಗಳ ಅಗತ್ಯವನ್ನು ಹೋಗಲಾಡಿಸುವುದಿಲ್ಲ. ಈ ಫ್ರೇಮ್‌ವರ್ಕ್ ಹೆಚ್ಚಿನ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ AI ಅನ್ನು ಹೆಚ್ಚು ಸುಲಭವಾಗಿ ಲಭ್ಯವಾಗುವಂತೆ ಮಾಡಬಹುದು, ಆದರೆ ಅತ್ಯಾಧುನಿಕ ಸಂಶೋಧನೆಯನ್ನು ಚಲಾಯಿಸುವ ಭಾರೀ ಕಂಪ್ಯೂಟೇಶನಲ್ ಕೆಲಸಗಳು ಮುಂಬರುವ ದಿನಗಳಲ್ಲಿ GPU-ಕೇಂದ್ರಿತವಾಗಿಯೇ ಉಳಿಯುವ ಸಾಧ್ಯತೆಯಿದೆ.