AI ને ક્લાઉડમાં રહેવાની જરૂર નથી. છેલ્લા એક વર્ષમાં, આ ક્ષેત્રમાં સૌથી રસપ્રદ પરિવર્તન કોઈ મોટું મોડેલ અથવા વધુ આકર્ષક ચેટબોટ નથી આવ્યું. તે તમારા ડેસ્ક નીચે રહેલા સામાન્ય હાર્ડવેર પર ભારે વર્કલોડનું શાંત સ્થળાંતર છે, અને એ સત્યતા છે કે પ્રીમિયમ APIs પર પૈસા ખર્ચવા ઘણીવાર બિનજરૂરી હોય છે. તાજેતરના ત્રણ વિકાસ આને અત્યારે જ વ્યવહારુ બનાવે છે: એક નવું ક્વોન્ટાઈઝેશન એન્જિન જે ઈમેજ જનરેશન મોડેલ્સને તેમની આઉટપુટ બગાડ્યા વિના નાનું કરે છે, એક ડેસ્કટોપ એજન્ટ જે તમારો ડેટા તમારા મશીન પર જ રાખે છે, અને એક અત્યંત સરળ ખર્ચ ઘટાડવાની વ્યૂહરચના જેને ઘણી ટીમો અવગણે છે.
ક્વોન્ટાઈઝ્ડ ડિફ્યુઝન તમારા સ્થાનિક હાર્ડવેર પર ચાલે છે
Hugging Face એ Nunchaku લોન્ચ કર્યું છે, જે ખાસ કરીને ડિફ્યુઝન મોડેલ્સ માટે બનાવવામાં આવેલી 4-bit ક્વોન્ટાઈઝેશન પદ્ધતિ છે. તે સીધું જ લોકપ્રિય Diffusers લાઇબ્રેરી સાથે જોડાઈ જાય છે, જેનો અર્થ છે કે તમે તમારા પાઇપલાઇનને ફરીથી બનાવ્યા વિના તેને હાલના સેટઅપમાં ઉપયોગમાં લઈ શકો છો.
4-bit ક્વોન્ટાઈઝેશનનો વાસ્તવિક અર્થ શું છે? સરળ શબ્દોમાં કહીએ તો, તે મોડેલના વેટ્સ (weights) ની સંખ્યાત્મક ચોકસાઈને સંકોચે છે. દરેક પેરામીટરને ફૂલ 32-bit અથવા 16-bit ચોકસાઈ સાથે સ્ટોર કરવાને બદલે, Nunchaku દરેક વેટ માટે ડેટા ઘટાડીને ચાર બીટ્સ કરી દે છે. મોડેલ મૂળ ડિસ્ક સ્પેસના માત્ર એક નાના ભાગ જેટલી જગ્યા રોકે છે અને, વધુ મહત્વનું એ છે કે, લોડ થયા પછી તે ખૂબ ઓછી VRAM માંગે છે. 8 GB અથવા 12 GB VRAM ધરાવતા કન્ઝ્યુમર GPUs ધરાવતા વપરાશકર્તાઓ માટે, આ પ્રોગ્રેસ બાર ધીમેથી આગળ વધતા જોવા અને ખરેખર ઈમેજ જનરેટ કરવા વચ્ચેનો તફાવત છે.
તેના વ્યવહારિક પરિણામો નોંધપાત્ર છે. તમે એવા હાર્ડવેર પર મોટા ડિફ્યુઝન મોડેલ્સ ચલાવી શકો છો જેને અગાઉ આ કાર્ય માટે પૂરતા પાવર વગરના માનવામાં આવતા હતા. થોડા પેઢી પહેલાનું મિડ-રેન્જ કાર્ડ અચાનક હાઈ-રિઝોલ્યુશન ઈમેજ સિન્થેસિસ માટે સક્ષમ બની જાય છે. અને કારણ કે Nunchaku દ્રશ્ય સચોટતા (visual fidelity) જાળવી રાખવા માટે ડિઝાઇન કરવામાં આવ્યું છે, તેથી આઉટપુટ ધૂંધળું બનતું નથી. ઈમેજ વાસ્તવિક ઉપયોગ માટે પૂરતી શાર્પ રહે છે, પછી ભલે તમે ગેમ એસેટ્સનું પ્રોટોટાઇપિંગ કરી રહ્યા હોવ, પ્રોડક્ટ મોક જનરેટ કરી રહ્યા હોવ અથવા ઇલસ્ટ્રેશન્સનું બેચ-પ્રોસેસિંગ કરી રહ્યા હોવ.
તેમાં પ્રાઈવસીનું પાસું પણ છે. ડિફ્યુઝનને સ્થાનિક રીતે ચલાવવાનો અર્થ એ છે કે તમારા પ્રોમ્પ્ટ્સ અને જનરેટ કરેલી ઈમેજ ક્યારેય તમારા મશીનથી બહાર જતી નથી. તમે સંવેદનશીલ કન્સેપ્ટ આર્ટ અથવા પ્રોપ્રાઈટરી ડિઝાઈન રિમોટ સર્વર પર અપલોડ નથી કરી રહ્યા. બધું જ તમારા ડિસ્ક પર, તમારી ફાયરવોલ પાછળ રહે છે. ગુપ્ત IP હેન્ડલ કરતા સ્ટુડિયો અથવા નિયમનકારી ઉદ્યોગોમાં કામ કરતા ક્રિએટિવ્સ માટે, આ અલગતા કોઈ લક્ઝરી નથી. તે એક જરૂરિયાત છે.
ડેસ્કટોપ એજન્ટ્સ જે ખરેખર ઓફલાઇન કામ કરે છે
તમારા ડેસ્કટોપને ઓટોમેટ કરવા માટે ક્લાઉડ APIs એકમાત્ર રસ્તો નથી. Claude Cowork, જે એક AI એજન્ટ ફ્રેમવર્ક છે, તે હવે Windows અને Linux પર નેટિવલી ચાલે છે. તેનું સેટઅપ એટલું સરળ છે કે તમે દરેક એક્શનને એક્સટર્નલ એન્ડપોઇન્ટ દ્વારા મોકલવાને બદલે એજન્ટને સ્થાનિક રીતે હોસ્ટ કરી શકો છો.
એકવાર ચાલુ થયા પછી, Claude Cowork ઓફિસના સામાન્ય કંટાળાજનક કામો સંભાળે છે. તે ફાઇલો ડ્રાફ્ટ કરે છે, રસીદોનું આયોજન કરે છે અને નેચરલ લેંગ્વેજ ઇન્સ્ટ્રક્શનના આધારે ફોલ્ડર્સ વચ્ચે ડેટા ખસેડે છે. એપ્લિકેશન લોજિક તમારા મશીન પર એક્ઝિક્યુટ થાય છે, જે રોજિંદા કામના સ્વરૂપને બદલી નાખે છે. બ્રાઉઝર ટેબમાં ટેક્સ્ટ કોપી કરવા અને સર્વરના પ્રતિસાદની રાહ જોવાને બદલે, તમે શેલ સ્ક્રિપ્ટની જેમ જ કમાન્ડ આપો છો, માત્ર તે સાદી અંગ્રેજી ભાષામાં હોય છે.
એજન્ટને લોકલ રાખવો એ માત્ર ઝડપ માટે જ મહત્વપૂર્ણ નથી. તમારી ફાઇલો, ફાઇલના નામ અને ફોલ્ડર સ્ટ્રક્ચર બીજાના ક્લાઉડથી દૂર રહે છે. જો તમે નાણાકીય રેકોર્ડ્સ, કાનૂની દસ્તાવેજો અથવા ડેટા રેસિડેન્સી નિયમો દ્વારા બંધાયેલ કોઈપણ વસ્તુનું સંચાલન કરતા હોવ, તો આ નિયંત્રણનું મહત્વ સમજાવવું મુશ્કેલ છે. ડેસ્કટોપ એજન્ટ તમારી ડિરેક્ટરી લિસ્ટિંગ સાથે ડેટા મોકલતો નથી. તે તમારી ટેક્સ સ્પ્રેડશીટ્સ પર ટ્રેનિંગ લેતો નથી.
AI ને તમારા વર્કફ્લોની આટલી નજીક લાવવાથી અવરોધો પણ દૂર થાય છે. તમે ટોકન્સ અથવા API કી વિશે વિચારવાનું બંધ કરો છો. તમે એ વિચારવાનું બંધ કરો છો કે પશ્ચિમ કિનારે સર્વિસ અવરોધ થવાથી બપોરે તમારું ઓટોમેશન અટકી જશે કે નહીં. આ સાધન ભાડાના દૂરના કર્મચારીને બદલે તમારા ઓપરેટિંગ સિસ્ટમનો એક ભાગ બની જાય છે.
સાદા કાર્યો માટે મોંઘા મોડેલ્સનો ઉપયોગ કરવાનું બંધ કરો
અહીં એક એવી આદત છે જે કોઈ કારણ વગર બજેટ ખર્ચાવે છે: દરેક નાના કામ માટે Claude Opus નો ઉપયોગ કરવો. ઘણા ડેવલપર્સ ઉપલબ્ધ સૌથી મોટા અને સૌથી મોંઘા મોડેલનો ઉપયોગ કરવાનું પસંદ કરે છે, એવું માનીને કે પ્રીમિયમ રીઝનિંગ હંમેશા કિંમતને અનુરૂપ હોય છે. તે નથી હોતું.
આશરે 60% થી 70% AI કાર્યો એ સાદી ફાઇલ રીડિંગ, ટેક્સ્ટ એક્સટ્રેક્શન, પેટર્ન મેચિંગ અથવા બેઝિક કમાન્ડ રાઉટિંગ છે. આ કામો માટે ફ્રન્ટિયર-લેવલ રીઝનિંગની જરૂર નથી. તેમને સક્ષમ અને ઝડપી અમલીકરણની જરૂર છે. ટોપ-ટિયર મોડેલમાં હળવા ડાયરેક્ટરી સ્કેન મોકલવા એ વ્હાઇટબોર્ડ લટકાવવા માટે સિનિયર આર્કિટેક્ટને રાખવા જેવું છે. કામ તો થઈ જશે, પરંતુ તમે એ નિષ્ણાતતા માટે પૈસા ચૂકવ્યા હશે જેનો તમે ક્યારેય ઉપયોગ કર્યો જ નથી.
એક સ્તરબદ્ધ અભિગમ આ સમસ્યાનો ઉકેલ લાવે છે. નાના કાર્યોને લોકલ મોડલ્સ અથવા નાના ક્લાઉડ એન્ડપોઇન્ટ્સ પર મોકલો. વર્ગીકરણ, સારાંશ અને ફોર્મેટિંગ માટે તમારા પોતાના હાર્ડવેર પર ચાલતા 7-બિલિયન-પેરામીટર મોડલનો ઉપયોગ કરો. Claude Opus સહિતના હેવીવેઇટ્સને એવા કાર્યો માટે રાખો કે જેને ખરેખર જટિલ તર્ક, બહુ-પગલાં આયોજન અથવા ઊંડા ડોમેન રિઝનિંગની જરૂર હોય.
આનાથી ખર્ચમાં મોટો ઘટાડો થાય છે, પરંતુ તે તમારી પાઇપલાઇનને ઝડપી પણ બનાવે છે. નાના મોડલ્સ તરત જ પ્રતિસાદ આપે છે. તેઓ શેર કરેલ API પર એન્ટરપ્રાઇઝ ટ્રાફિક પાછળ કતારમાં ઊભા રહેતા નથી. તમને જવાબો ઝડપથી મળે છે, અને તમારું માસિક બિલ ઘટે છે. આ વ્યૂહરચના ગુણવત્તા સાથે સમાધાન કરવા વિશે નથી; તે રસ્તા મુજબ હોર્સપાવર મેળવવા વિશે છે.
મુખ્ય નિષ્કર્ષ
અહીં સમાન બાબત સ્વતંત્રતા છે. Nunchaku તમને ક્લસ્ટર ભાડે રાખ્યા વગર ઈમેજ જનરેટ કરવા દે છે. Claude Cowork તમારા ઓટોમેશનને તમારા પોતાના હાર્ડવેર પર રાખે છે. સ્તરબદ્ધ મોડલ વ્યૂહરચના તમને રોજિંદા મુસાફરી માટે લક્ઝરી એન્જિન ભાડે લેતા અટકાવે છે. સાથે મળીને, તેઓ AI સાથે કામ કરવાની સસ્તી, ઝડપી અને વધુ ખાનગી રીત તરફ નિર્દેશ કરે છે. આ અઠવાડિયે એક પ્રયોગથી શરૂઆત કરો. તમારા વર્તમાન GPU પર Nunchaku ઇન્સ્ટોલ કરો, કોઈ સામાન્ય ફાઇલિંગ કાર્ય પર લોકલ એજન્ટનું પરીક્ષણ કરો, અથવા તમારા API લોગ્સનું ઓડિટ કરો કે ખરેખર કેટલા કોલ્સ માટે ટોપ-ટિયર મોડલની જરૂર હતી. સાધનો તૈયાર છે. બચત વાસ્તવિક છે.
સ્ત્રોત: Dev.to original coverage
વૈકલ્પિક લર્નિંગ કમ્યુનિટી: GyaanSetu AI on Telegram