Llama.cpp b10327 એક મહત્વપૂર્ણ CUDA quantization બગને સુધારે છે, જે NVIDIA કાર્ડ્સ પર લોકલ GPU ઇન્ફરન્સને સ્થિર બનાવે છે અને સમાન હાર્ડવેર પરથી વધારાની ઝડપ મેળવવામાં મદદ કરે છે. આ સુધારો એવા દરેક માટે મહત્વપૂર્ણ છે જેઓ કન્ઝ્યુમર-ગ્રેડ GPU પર LLaMA-સ્ટાઇલ મોડલ્સ ચલાવે છે, જ્યાં ક્રેશ અને ચોકસાઈમાં થતો સૂક્ષ્મ ઘટાડો એક સતત સમસ્યા રહી છે.

જે બગ લોકલ ઇન્ફરન્સને અવરોધતો હતો

Llama.cpp એ ક્લાઉડ સર્વિસ વગર CPU અને GPU પર લાર્જ લેંગ્વેજ મોડલ્સ ચલાવવા માટેનું લોકપ્રિય ઓપન-સોર્સ એન્જિન છે. તેની સૌથી મોટી વિશેષતા એ છે કે તે મધ્યમ કદના GPU પર ક્વોન્ટાઇઝ્ડ મોડલ્સ (quantised models)—જેમાં weights લો-બીટ ફોર્મેટમાં સંગ્રહિત હોય છે—ચલાવવાની ક્ષમતા આપે છે. b10327 રિલીઝ NVIDIA ના CUDA પ્લેટફોર્મ પર તે ક્વોન્ટાઇઝ્ડ કર્નલ્સ લોન્ચ કરતી વખતે વપરાતી થ્રેડ અને બ્લોક-કાઉન્ટ ગણતરીઓને સુધારે છે.

અગાઉની ગણતરીઓ વર્ક-આઇટમ્સને ખોટી રીતે ગોઠવી શકતી હતી, જેનાથી બે વ્યવહારિક સમસ્યાઓ ઊભી થતી હતી:

  • મેમરીનો ખોટો ઉપયોગ (Memory mishandling) – કર્નલ્સ ક્યારેક ફાળવવામાં આવેલા બફરની બહાર મેમરી એક્સેસ કરતા હતા, જેના કારણે ક્રેશ અથવા ડેટામાં ખામી (silent corruption) સર્જાતી હતી.
  • ગાણિતિક અચોકસાઈ (Math inaccuracy) – ફ્લોટિંગ-પોઈન્ટ ઓપરેશન્સનું પ્રદર્શન નબળું પડતું હતું, જેનાથી જનરેટ થયેલા ટેક્સ્ટની ગુણવત્તા ઘટી જતી હતી.

આ બંને સમસ્યાઓ માત્ર ક્વોન્ટાઇઝ્ડ ઇન્ફરન્સના કડક મેમરી નિયંત્રણો હેઠળ જ જોવા મળતી હતી, જેના કારણે મોટા, ફૂલ-પ્રિસિઝન રન પર તેને ફરીથી પેદા કરવી મુશ્કેલ હતી.

ઓન-ડિવાઇસ AI માટે આ સુધારો શા માટે ફાયદાકારક છે

ડેવલપર્સ અને શોખીન લોકો ડેટાને ખાનગી રાખવા, ક્લાઉડ કોલ્સથી થતો લેટન્સી (વિલંબ) ટાળવા અને ઓપરેટિંગ ખર્ચ ઘટાડવા માટે લોકલ ઇન્ફરન્સ પર આધાર રાખે છે. આ બગનો અર્થ એ હતો કે જ્યારે મોડલ GPU મેમરીમાં સમાઈ જતું હોય, ત્યારે પણ તે અનિશ્ચિત રીતે નિષ્ફળ જઈ શકતું હતું. સુધારેલા લોન્ચ પેરામીટર્સ સાથે, હવે સમાન હાર્ડવેર નીચે મુજબના પરિણામો આપે છે:

  • વધુ વિશ્વસનીય રન – ઓછી out-of-memory ક્રેશ અને સ્મૂધ બેચ પ્રોસેસિંગ.
  • સુધારેલી ઝડપ – આ અપડેટ વિશ્વસનીયતા અને થ્રુપુટ (throughput) બંનેમાં વધારો કરે છે.

કન્ઝ્યુમર-ગ્રેડ GPU માટે, આ તફાવત એક ઉપયોગી ઇન્ટરેક્ટિવ ચેટબોટ અને એક અસ્થિર ડેમો વચ્ચેનો તફાવત હોઈ શકે છે.

વ્યાપક GPU AI અપડેટ્સનો સારાંશ

જોકે Llama.cpp પેચ મુખ્ય સમાચાર છે, પરંતુ અન્ય કેટલાક રિલીઝ પણ લોકલ AI ઇકોસિસ્ટમને આગળ વધારી રહ્યા છે:

  • NVIDIA NeMo Speech 3.0 ઓટોમેટિક સ્પીચ રેકગ્નિશન, ટેક્સ્ટ-ટુ-સ્પીચ અને સ્પીચ-લાર્જ લેંગ્વેજ મોડલ્સ માટે રિફ્રેશ્ડ ટૂલકિટ રજૂ કરે છે. નવું લેઆઉટ સ્પેશિયલાઇઝ્ડ વોઇસ આસિસ્ટન્ટ્સ બનાવવાની પ્રક્રિયાને સરળ બનાવે છે.
  • AMD ROCm Quark લાઇબ્રેરી દ્વારા SVDQuant સપોર્ટ ઉમેરે છે, જે AMD GPU પર Stable Diffusion જેવા ડિફ્યુઝન મોડલ્સને ઓછા મેમરી ફૂટપ્રિન્ટ સાથે ચલાવવાની મંજૂરી આપે છે. એક સાથી VSA (Video Sparse Attention) મોડ્યુલ ડિફ્યુઝન સ્ટેપ્સ માટે જરૂરી અંકગણિત ઘટાડીને ઝડપી વિડિયો જનરેશનનું વચન આપે છે.
  • Linux kernel 7.3 ગ્રાફિક્સ મેમરી માટે વધુ એગ્રેસિવ TTM (Translation Table Maps) સબસિસ્ટમ રજૂ કરશે. આ ફેરફારનો હેતુ કમ્પ્યુટ-હેવી વર્કલોડ્સ માટે મેમરી રિક્લેમેશન સુધારવાનો છે, જે Linux-આધારિત મશીનો પર AI ઇન્ફરન્સને પરોક્ષ રીતે ફાયદો કરાવી શકે છે.

કોને ફાયદો થશે અને કોણે સાવચેત રહેવું જોઈએ

સ્વતંત્ર ડેવલપર્સ, નાના સ્ટાર્ટઅપ્સ અને પ્રાઇવસી-ફોકસ ટીમો જેઓ પહેલેથી જ કન્ઝ્યુમર-ગ્રેડ NVIDIA હાર્ડવેરમાં રોકાણ કરી ચૂક્યા છે, તેઓ આના તાત્કાલિક લાભો મેળવશે. તેમની પાઇપલાઇન્સ વધુ અનુમાનિત બનશે અને પરફોર્મન્સમાં વધારો મોટા ક્વોન્ટાઇઝ્ડ મોડલ્સ સાથે પ્રયોગ કરવા માટેના અવરોધો ઘટાડશે.

એન્ટરપ્રાઇઝ જેઓ પહેલેથી જ ક્લાઉડમાં ઇન્ફરન્સ ચલાવે છે, તેઓ આ સુધારાને હાઇબ્રિડ વ્યૂહરચનાઓ માટે એક માન્યતા બિંદુ તરીકે જોઈ શકે છે—જેમાં લેટન્સી-ક્રિટિકલ ફ્રન્ટ-એન્ડ્સ લોકલ રીતે ચલાવવામાં આવે છે જ્યારે ભારે બેચ જોબ્સ ક્લાઉડ પર મોકલી દેવામાં આવે છે. જોકે, આ સુધારો ઓન-ડિવાઇસ AI ની ઊંડી મર્યાદાઓને દૂર કરતો નથી, જેમ કે VRAM ની મર્યાદા અથવા ક્વોન્ટાઇઝ્ડ અને ફૂલ-પ્રિસિઝન મોડલ્સ વચ્ચેનો ગુણવત્તાનો તફાવત.

આગળ શું જોવું

  • વધુ Llama.cpp ઓપ્ટિમાઇઝેશન – આગામી પેચ કર્નલ ફ્યુઝન (kernel fusion) ને વધુ સુધારી શકશે અને નવી NVIDIA આર્કિટેક્ચર્સ માટે સપોર્ટ ઉમેરશે.
  • ક્રોસ-વેન્ડર ક્વોન્ટાઇઝેશન સ્ટાન્ડર્ડ્સ – જેમ જેમ AMD ના ROCm ને SVDQuant મળે છે, તેમ સમુદાય એક સામાન્ય લો-બીટ ફોર્મેટ પર એકત્રિત થઈ શકે છે, જેનાથી મોડલ પોર્ટેબિલિટી સરળ બનશે.
  • NeMo Speech ઘટકોનું ઇન્ટિગ્રેશન ઓન-ડિવાઇસ રનટાઇમ્સમાં કરવાથી એ જ લોકલ ઇન્ફરન્સ સ્ટેક પર વોઇસ ક્ષમતાઓ લાવી શકાય છે જે હવે ટેક્સ્ટ મોડલ્સ વધુ વિશ્વસનીય રીતે ચલાવે છે.

b10327 પેચ સાબિત કરે છે કે લોન્ચ જીઓમેટ્રીમાં એક સિંગલ લાઇન-લેવલ સુધારો પણ લોકલ AI ની ઉપયોગિતા પર મોટો પ્રભાવ પાડી શકે છે. જો તમે હજુ પણ કન્ઝ્યુમર GPU પર ક્રેશ સાથે ઝઝૂમી રહ્યા હોવ, તો વધુ સ્થિર અને ઝડપી ઇન્ફરન્સ અનુભવ માટે અત્યારે જ llama.cpp અપડેટ કરો.