மைக்ரோசாப்ட் (Microsoft) தனது திறந்த மூல (open-source) BitNet கட்டமைப்பை அறிவித்துள்ளது. இது டெவலப்பர்கள் 1-bit பெரிய மொழி மாதிரிகளை (LLMs) ஒரு தனி CPU-இல் இயக்க உதவும் ஒரு கருவியாகும். இது தற்போதுள்ள CPU-மட்டும் சார்ந்த இன்ஃபரன்ஸ் (inference) குறியீடுகளை விட ஆறு மடங்கு வரை வேகத்தை வழங்கும் என்று கூறப்படுகிறது.

ஒரு 1-bit மாதிரி ஏன் முக்கியமானது

பெரும்பாலான நவீன LLM-கள் 16 அல்லது 32-bit மிதவைப் புள்ளி எண்களைப் (floating-point numbers) பயன்படுத்துகின்றன, இது நினைவகப் பயன்பாடு (memory footprint) மற்றும் மின் நுகர்வைக் கூட்டுகிறது. BitNet அவற்றை "1.58-bit" கணித முறைக்கு மாற்றுகிறது, இதன் மூலம் ஒவ்வொரு எடையும் (weight) –1, 0, அல்லது +1 என வரையறுக்கப்படுகிறது. இந்த குறைப்பு மாதிரியின் அளவை வியத்தகு முறையில் சுருக்குகிறது; 100 பில்லியன் அளவுருக்கள் (parameters) கொண்ட ஒரு நெட்வொர்க்கை லேப்டாப் தரத்திலான CPU-இல் இயக்க முடியும். டெவலப்பர்கள் BitNet கட்டமைப்பைப் பயன்படுத்தி மாதிரிகளை ஆரம்பத்திலிருந்தே (from scratch) பயிற்றுவிக்க வேண்டும்; இது ஒரு சாதாரண மாற்ற முறை (conversion) அல்ல.

அறிக்கையிடப்பட்ட செயல்திறன் முன்னேற்றங்கள்

  • Throughput: ஒரு தனி CPU கோரில் வினாடிக்கு 5–7 டோக்கன்கள்.
  • llama.cpp உடன் ஒப்பிடும்போது வேகம்: x86 செயலிகளில் 2.37×-6.17× வேகமானது.
  • ஆற்றல் பயன்பாடு: அதே வன்பொருளில் 82.2% வரை குறைவான மின்சாரம்.
  • நினைவகம்: 16×-32× குறைவான RAM தேவைகள்.

இந்த குறியீட்டுடன் (codebase) வெளியிடப்பட்ட முதன்மை மாதிரியான BitNet-b1.58-2B-4T, 2.4 பில்லியன் அளவுருக்களைக் கொண்டுள்ளது. மைக்ரோசாப்ட் இந்த மென்பொருளை அனுமதிக்கும் MIT உரிமத்தின் கீழ் வழங்குகிறது, இதன் மூலம் எவரும் தமக்கென சொந்தமான 1-bit மாதிரிகளை உருவாக்கவும், மாற்றியமைக்கவும் அல்லது மறுவிநியோகம் செய்யவும் அழைப்பு விடுக்கிறது.

எட்ஜ்-முதலில் (Edge-first) பயன்பாட்டு முறைகள்

GPU இல்லாமல் இன்ஃபரன்ஸை இயக்குவது, ஆஃப்லைன் அல்லது தனியுரிமை சார்ந்த பயன்பாடுகளுக்குப் புதிய கதவுகளைத் திறக்கிறது. சிறிய IoT சாதனங்கள், களப்பணியில் பயன்படுத்தப்படும் ட்ரோன்கள் மற்றும் இணைய இணைப்பு இல்லாத லேப்டாப்கள் ஆகியவற்றில் மொழித் திறன்களை உள்ளூரிலேயே (locally) இணைக்க முடியும். குறைந்த ஆற்றல் பயன்பாடு பேட்டரி மூலம் இயங்கும் வன்பொருட்களுக்கும் மிகவும் பயனுள்ளதாக இருக்கும்.

இதிலுள்ள வரம்புகள் என்ன?

மிகப்பெரிய சவால் ஆரம்பத்திலிருந்தே பயிற்றுவிப்பதே ஆகும். Llama போன்ற தற்போதுள்ள திறந்த மூல மாதிரிகளை எளிதாக BitNet வடிவத்திற்கு "bit-quantize" செய்ய முடியாது; அவற்றை மூன்று-மதிப்பு எடைக் திட்டத்துடன் (three-value weight scheme) மீண்டும் உருவாக்க வேண்டும்.

யார் பயனடைவார்கள், யார் அப்படியே இருப்பார்கள்

  • ஸ்டார்ட்-அப்கள் மற்றும் பொழுதுபோக்கு ஆர்வலர்கள்: குறைந்த வன்பொருள் செலவுகள் சோதனைகள் மற்றும் தயாரிப்பு முன்மாதிரி (prototyping) உருவாக்கத்தை விரைவுபடுத்தும்.
  • கடுமையான தரவு இறையாண்மை (data-sovereignty) கொள்கைகளைக் கொண்ட நிறுவனங்கள்: ஆன்-பிரமிஸ் (On-premise) இன்ஃபரன்ஸ் மூலம் தரவுகளை கிளவுட் வழங்குநர்களுக்கு அனுப்பத் தேவையில்லை.
  • பெரிய அளவிலான AI ஆய்வகங்கள்: பயிற்சியளிப்பதற்கும் மற்றும் அதிகத் திறன் கொண்ட சேவைகளுக்கும் (high-throughput serving) தொடர்ந்து GPU-களைப் பயன்படுத்த வாய்ப்புள்ளது, அங்கு வேகம் மிக முக்கியமானது.

அடுத்து கவனிக்க வேண்டியவை

  • சமூக ஏற்பு (Community adoption): BitNet வடிவத்தில் பயிற்றுவிக்கப்பட்ட மூன்றாம் தரப்பு மாதிரிகளின் எண்ணிக்கை, இந்தச் சூழல் (ecosystem) எவ்வளவு வேகமாக வளர்கிறது என்பதைக் காட்டும்.
  • கருவி ஒருங்கிணைப்பு (Tooling integration): பிரபலமான பயிற்சி வழிமுறைகள் (training pipelines) மற்றும் பயன்பாட்டுத் தளங்களுடன் (deployment platforms) இணக்கத்தன்மை இருந்தால், இந்த கட்டமைப்பை அணுகுவது எளிதாகும்.
  • நிஜ உலக அளவீடுகள் (Real-world benchmarks): பல்வேறு வன்பொருள்களில் துல்லியம், தாமதம் (latency) மற்றும் ஆற்றல் குறித்த சுதந்திரமான அளவீடுகள், ஆய்வகத்திற்கு வெளியே இந்த முன்னேற்றங்கள் உண்மையாக இருக்கின்றனவா என்பதை வெளிப்படுத்தும்.
  • கூடுதல் குவாண்டசேஷன் ஆராய்ச்சி: ஆராய்ச்சியாளர்கள் தரத்தைக் குறைக்காமல் பிட்-அளவை (bit-width) இன்னும் குறைக்க முடிந்தால், CPU-மட்டும் சார்ந்த கனவு இன்னும் யதார்த்தமானதாக மாறும்.

அன்றாடப் பயன்பாட்டு செயலிகளில் (processors) மிகப்பெரிய மொழி மாதிரிகளை இயக்குவது தொழில்நுட்ப ரீதியாகச் சாத்தியம் என்பதை BitNet நிரூபிக்கிறது, ஆனால் இது உயர் செயல்திறன் கொண்ட சூழல்களில் GPU-களின் தேவையை நீக்கிவிடாது. இந்த கட்டமைப்பு அதிகப்படியான டெவலப்பர்களுக்கு AI தொழில்நுட்பத்தை ஜனநாயகப்படுத்தக்கூடும், அதே சமயம் அதிநவீன ஆராய்ச்சிகளைத் தூண்டும் கனமான கணக்கீட்டுப் பணிகள் (computational workloads) வரும் காலங்களிலும் GPU-மையமாகவே இருக்கும்.