llama.cpp b10255 એ SYCL KV-Cache ઉમેર્યું છે, જે Intel GPU ઇન્ફરન્સ સ્પીડમાં વધારો કરે છે

llama.cpp b10255 માં SYCL-આધારિત quantized KV-cache સપોર્ટ ઉમેરવામાં આવ્યો છે, જે Intel GPU વપરાશકર્તાઓને Q4_0, Q8_0 અને FP32 ફોર્મેટ સાથે મોટા મોડેલ્સ અથવા લાંબા કોન્ટેક્સ્ટ (context) ચલાવવાની સુવિધા આપે છે. આ ફેરફાર નોંધપાત્ર રીતે ઝડપી લોકલ ઇન્ફરન્સ (local inference) નું વચન આપે છે, જે એવા દરેક માટે મહત્વનું છે જેઓ Nvidia-માત્ર (Nvidia-only) રિગ ખરીદ્યા વગર AI વર્કલોડ્સને ઓન-પ્રેમિસ (on-premise) રાખવાનો પ્રયાસ કરી રહ્યા છે.

llama.cpp અપડેટ શા માટે મહત્વનું છે

llama.cpp પ્રોજેક્ટ વિવિધ પ્રકારના હાર્ડવેર પર LLaMA-શૈલીના મોડેલ્સ ચલાવવા માટે મુખ્ય ઓપન-સોર્સ એન્જિન રહ્યું છે. વર્ઝન b10255 oneDNN ના SDPA (scaled dot-product attention) નું SYCL અમલીકરણ (implementation) રજૂ કરે છે જે quantized key-value કેશ સાથે કામ કરે છે. Quantization કેશના કદને ઘટાડે છે, જેથી SYCL સપોર્ટ કરતા Intel GPUs પર મેમરી બેન્ડવિડ્થ અને લેટન્સી (latency) માં મોટો સુધારો થાય છે. વપરાશકર્તાઓ હવે Q4_0, Q8_0 અથવા ફૂલ-પ્રિસિઝન FP32 પસંદ કરી શકે છે, જેમાં ઝડપ અને મેમરી વપરાશમાં મોટા ફાયદા માટે ચોકસાઈમાં થોડો ઘટાડો સ્વીકારી શકાય છે. લોકલ ચેટ આસિસ્ટન્ટ્સ અથવા રિસર્ચ પ્રોટોટાઇપ્સ બનાવતા ડેવલપર્સ માટે, એક જ GPU માં વધુ કોન્ટેક્સ્ટ સમાવવાની ક્ષમતા એક ઉપયોગી ડેમો અને અટકી ગયેલા પ્રયોગ વચ્ચેનો તફાવત હોઈ શકે છે.

Hugging Face પર નવા મોડેલ વિકલ્પો

Hugging Face પર એવા બે મોડેલ્સ સામે આવ્યા છે જે llama.cpp અપડેટના પર્ફોર્મન્સ ફોકસ સાથે સુસંગત છે.

• DeepSeek-V4-Flash-0731 તેની મુખ્ય વિશેષતા તરીકે ઝડપની જાહેરાત કરે છે. તેનું આર્કિટેક્ચર કન્ઝ્યુમર-ગ્રેડ GPUs પર પ્રતિભાવશીલ લોકલ ચેટ એપ્લિકેશન્સ માટે ટ્યુન કરવામાં આવ્યું છે, જે તેને નવા SYCL-એક્સિલરેટેડ પાઇપલાઇન માટે કુદરતી રીતે યોગ્ય બનાવે છે.
• KAT-Coder-V2.5-Dev Mixture of Experts ડિઝાઇનનો ઉપયોગ કરે છે, જે કોડિંગ કાર્યો અને ઓટોનોમસ-એજન્ટ વર્તણૂક માટે અલગ અલગ એક્સપર્ટ સબ-નેટવર્ક્સ ફાળવે છે. મોડેલની મોડ્યુલારિટી quantized KV કેશ દ્વારા સક્ષમ મોટા કોન્ટેક્સ્ટ વિન્ડોઝથી લાભ મેળવી શકે છે.

બંને મોડેલ્સ એવા ડેવલપર્સ માટે વિકલ્પોનું વિસ્તરણ કરે છે જે ક્લાઉડથી દૂર રહેવા માંગે છે પરંતુ હજુ પણ અદ્યતન ક્ષમતાઓની જરૂરિયાત ધરાવે છે.

GPU ડ્રાઇવર અને શેડ્યુલર અપડેટ્સ

જ્યારે llama.cpp Intel GPUs માટે દરવાજા ખોલે છે, ત્યારે Nvidia વપરાશકર્તાઓ પાછળ રહી નથી ગયા. Linux ડ્રાઇવર સ્ટેક વર્ઝન 610.57.04 પર ખસી ગયું છે, જે બગ ફિક્સનો સમૂહ લાવ્યું છે જે તાજેતરના કર્નલ્સ પર CUDA સ્ટેબિલિટીમાં સુધારો કરે છે. AMD તરફથી, ROCm ઇકોસિસ્ટમે Spur રિલીઝ કર્યું છે, જે હાઇ-પર્ફોર્મન્સ કમ્પ્યુટિંગ અને AI વર્કલોડ્સ માટે નિર્મિત જોબ શેડ્યુલર છે. Spur GPU ક્લસ્ટર્સમાં વધુ સારા ઉપયોગનું વચન આપે છે, જે એક એવું ફીચર છે જે ઘણા એકસાથે ઇન્ફરન્સ જોબ્સ ચલાવતા ટીમો માટે મહત્વનું હોઈ શકે છે.

હાઇ-એન્ડ GPUs પર ભાવનું દબાણ

તે જ સમયે, ટોપ-ટિયર ગ્રાફિક્સ કાર્ડ્સ માટેનું બજાર ટાઈટ થઈ રહ્યું છે. અહેવાલો સૂચવે છે કે આગામી RTX 50 સિરીઝના ભાવ વર્તમાન સ્તર કરતા અંદાજે 30% વધી શકે છે. ઉદાહરણ તરીકે, RTX 5090, GDDR7 મેમરીની કિંમત અને TSMC ની નવીનતમ પ્રોસેસની વેફર ક્ષમતાને કારણે $5,100 ની મર્યાદા તોડી શકે છે. નાના લેબ્સ અને શોખીનો માટે, વધતો ખર્ચ Intel અથવા AMD GPUs જેવા વિકલ્પો પર વધુ ગંભીરતાથી વિચારવા માટે મજબૂર કરે છે, ખાસ કરીને હવે જ્યારે llama.cpp તેમનાથી વધુ ઉપયોગ મેળવી શકે છે.

આગળ શું જોવું

• llama.cpp ના વધુ રિલીઝ – આગામી પેચ વધારાના ક્વોન્ટાઇઝેશન સ્કીમ્સ માટે SYCL સપોર્ટ લંબાવી શકે છે અથવા મિશ્ર-ચોકસાઈ (mixed-precision) કર્નલ્સ ઉમેરી શકે છે.
• ડ્રાઇવર સ્ટેબિલિટી – શરૂઆતના વપરાશકર્તાઓએ Nvidia ના 610.57.04 રોલઆઉટ પર કોઈપણ રિગ્રેશન (regressions) માટે દેખરેખ રાખવી જોઈએ જે પર્ફોર્મન્સના ફાયદાઓને ઘટાડી શકે છે.
• AMD ના શેડ્યુલરનો સ્વીકાર – જેમ જેમ વધુ ક્લસ્ટર્સ તેને સક્ષમ કરશે અને ઉપયોગના મેટ્રિક્સ રિપોર્ટ કરશે તેમ તેમ Spur ની અસર વધુ સ્પષ્ટ થશે.
• GPU ભાવના ટ્રેન્ડ્સ – જો RTX 50 સિરીઝના ભાવ સ્થિર રહે છે, તો આપણે ઇન્ફરન્સ વર્કલોડ્સ માટે વધુ ખર્ચ-અસરકારક Intel અથવા AMD હાર્ડવેર તરફનું પરિવર્તન જોઈ શકીએ છીએ.

llama.cpp b10255 અપડેટ દર્શાવે છે કે ઓપન-સોર્સ ટૂલિંગ હાર્ડવેરની પ્રગતિ સાથે કદમ મિલાવી શકે છે, પરંતુ મોડેલ્સ, ડ્રાઇવર્સ અને કિંમત જેવી વ્યાપક ઇકોસિસ્ટમ એ નક્કી કરશે કે ડેવલપર્સ ખરેખર લોકલ રહેવા માટે સક્ષમ છે કે નહીં.