Microsoft imetangaza mfumo wa BitNet wa chanzo huru (open-source), chombo kinachowaruhusu watengenezaji kuendesha mifano mikubwa ya lugha (LLMs) ya bit-1 kwenye CPU moja na kudai ongezeko la kasi hadi mara sita kuliko kodi za sasa za utendaji (inference) zinazotumia CPU pekee.

Kwa nini mfano wa bit-1 ni muhimu

LLM nyingi za kisasa hutumia namba za floating-point za bit-16 au bit-32, jambo linaloongeza matumizi ya kumbukumbu (memory footprint) na nguvu ya umeme. BitNet inabadilisha hizo kwa hesabu za "bit-1.58", ikizuia kila uzito (weight) uwe –1, 0, au +1. Kupungua huku kunapunguza ukubwa wa mfano kwa kiasi kikubwa; mtandao wenye vigezo (parameters) bilioni 100 unaweza kuendeshwa kwenye CPU ya aina ya laptop. Watengenezaji lazima wafundishe (train) mifano kuanzia mwanzo kwa kutumia usanifu wa BitNet; si ubadilishaji rahisi tu.

Ongezeko la utendaji lililoripotiwa

  • Throughput: token 5–7 kwa sekunde kwenye kiini kimoja cha CPU.
  • Kasi dhidi ya llama.cpp: mara 2.37×-6.17× zaidi ya haraka kwenye vichakatazi vya x86.
  • Matumizi ya nishati: hadi 82.2% ya nguvu kidogo kwenye vifaa vilevile.
  • Kumbukumbu: mahitaji ya RAM chini kwa mara 16×-32×.

Mfano mkuu uliotolewa pamoja na kodi hiyo, BitNet-b1.58-2B-4T, una vigezo (parameters) bilioni 2.4. Microsoft inatoa programu hiyo chini ya leseni ya MIT iliyo wazi, ikialika kila mtu kujenga, kurekebisha, au kusambaza mifano yao ya bit-1.

Matumizi ya kwanza kwenye vifaa vya mwisho (Edge-first)

Kuendesha utendaji (inference) bila GPU kunafungua milango kwa programu za nje ya mtandao (offline) au zinazohitaji faragha kubwa. Vifaa vidogo vya IoT, droni zinazotumika nyanjani, na laptop zisizo na muunganisho wa intaneti zinaweza kuweka uwezo wa lugha ndani ya kifaa (locally). Matumizi madogo ya nishati pia yanavutia vifaa vinavyojiendesha kwa betri.

Vikwazo ni nini

Kikwazo kikubwa ni kufundisha (training) kuanzia mwanzo. Mifano iliyopo ya chanzo huru kama Llama haiwezi "kuquantize" tu kuwa mfumo wa BitNet; lazima ijengwe upya kwa kutumia mpango wa uzito wa thamani tatu.

Nani anafaidika, nani atabaki palepale

  • Makampuni mapya (Start-ups) na wapenzi wa teknolojia (hobbyists): Gharama nafuu za vifaa vinaweza kuharakisha majaribio na utengenezaji wa mifano ya bidhaa (prototyping).
  • Mashirika yenye sera kali za mamlaka ya data: Utendaji wa ndani (on-premise inference) unazuia kutuma data kwa watoa huduma za wingu (cloud providers).
  • Maabara kubwa za AI: Inaelekea zitaendelea kutumia GPU kwa mafunzo na utendaji wa kasi kubwa, ambapo kasi halisi bado ni muhimu.

Nini cha kufuatilia baadaye

  • Upatikanaji katika jamii: Idadi ya mifano ya upande wa tatu iliyofundishwa katika mfumo wa BitNet itaonyesha jinsi mfumo (ecosystem) unavyokua kwa kasi.
  • Ujumuishaji wa zana: Uwiano na mifumo maarufu ya mafunzo (training pipelines) na majukwaa ya utendaji unaweza kufanya mfumo huu uwe rahisi kutumiwa.
  • Vipimo vya ulimwengu halisi: Vipimo huru vya usahihi, ucheleweshaji (latency), na nguvu kwenye vifaa mbalimbali vitaonyesha ikiwa ongezeko lililodaiwa litalingana nje ya maabara.
  • Utafiti zaidi wa quantization: Ikiwa watafiti watapunguza upana wa bit zaidi bila kupoteza ubora, ndoto ya kutumia CPU pekee itakuwa halisi zaidi.

BitNet inathibitisha kuwa kuendesha mifano mikubwa ya lugha kwenye vichakatazi vya kawaida inawezekana kiteknolojia, lakini haiondoi hitaji la GPU katika matukio ya utendaji wa juu. Mfumo huu unaweza kuleta usawa wa upatikanaji wa AI kwa watengenezaji wengi zaidi, wakati kazi nzito za kimahesabu zinazoendesha utafiti wa kisasa zitabaki kutegemea GPU kwa wakati ujao unaotarajiwa.