Cloud APIs are convenient until they stop being convenient. Your monthly bill creeps up. A pricing change breaks your bu

Cloud APIs ત્યાં સુધી અનુકૂળ છે જ્યાં સુધી તે અનુકૂળ રહે છે. તમારું માસિક બિલ વધતું જાય છે. કિંમતમાં ફેરફાર તમારા બજેટને બગાડે છે. અને ક્યાંક નાની વિગતોમાં, તમારો પ્રોપ્રાઈટરી ડેટા બીજા કોઈના મોડેલને ટ્રેન કરી રહ્યો હોય છે. આ અવરોધ વધુને વધુ ડેવલપર્સને લોકલ AI વર્કસ્ટેશન્સ બનાવવા તરફ ધકેલી રહ્યો છે. તમે હાર્ડવેર એકવાર ખરીદો છો, આખા સ્ટેક પર તમારો સંપૂર્ણ અધિકાર હોય છે, અને તમે નક્કી કરી શકો છો કે કયો ડેટા તમારા મશીનમાંથી બહાર જશે.

આ અઠવાડિયે ત્રણ નક્કર વિકાસ થયા છે જે આ પરિવર્તનને વધુ વ્યવહારુ બનાવે છે: એક Dockerized ટ્રેડિંગ આસિસ્ટન્ટ જે તમારા નાણાકીય ડેટાને ઘરે જ સુરક્ષિત રાખે છે, NVIDIA GPUs ને તમારા પોતાના નિયંત્રણ હેઠળ લાવવા માટેની એક સરળ માર્ગદર્શિકા, અને Hugging Face તરફથી એક નવું રિલીઝ જે રોબોટ લર્નિંગને કન્ઝ્યુમર ડેસ્કટોપ સુધી પહોંચાડે છે.

Docker સાથે તમારો ટ્રેડિંગ ડેટા લોકલ રાખો

એક ડેવલપરે TradingSpy લોન્ચ કર્યું છે, જે ખાસ કરીને ટ્રેડિંગ વર્કફ્લો માટે બનાવેલ લોકલ AI રિસર્ચ આસિસ્ટન્ટ છે. માર્કેટ ડેટા અને પર્સનલ વોચલિસ્ટને રિમોટ એન્ડપોઈન્ટ પર મોકલવાને બદલે, તમે બધું જ તમારા પોતાના હાર્ડવેર પર Docker કન્ટેનરની અંદર ચલાવી શકો છો.

નાણાકીય ડેટા અત્યંત સંવેદનશીલ હોય છે. જો શક્ય હોય તો, તમારા પોર્ટફોલિયોનું બંધારણ, ટ્રેડિંગ નોટ્સ અને હિસ્ટોરિકલ પોઝિશન્સ થર્ડ-પાર્ટી API દ્વારા પસાર થવી જોઈએ નહીં. મોડેલને લોકલ રીતે ચલાવવાથી તે જોખમ સંપૂર્ણપણે દૂર થાય છે. કન્ટેનર ઇન્ફરન્સ (inference) સંભાળે છે, અને તમારો કાચો બ્રોકરેજ ડેટા ક્યારેય મશીનમાંથી બહાર જવાની જરૂર પડતી નથી.

Docker એ જટિલ ડિપેન્ડન્સી (dependency) સમસ્યાનું પણ સમાધાન કરે છે જે Python મશીન લર્નિંગ પ્રોજેક્ટ્સમાં જોવા મળે છે. ટ્રેડિંગ સ્ટેક્સમાં ઘણીવાર pandas જેવી ડેટા લાઇબ્રેરીઓ, ટેકનિકલ એનાલિસિસ ટૂલકિટ્સ અને GPU-એક્સિલરેટેડ ઇન્ફરન્સ એન્જિનનું મિશ્રણ હોય છે. આઇસોલેશન વગર, એક પ્રોજેક્ટ CUDA 11.8 માંગે છે, બીજો 12.1 માંગે છે, અને તમારું બેઝ સિસ્ટમ વિરોધાભાસી એન્વાયરમેન્ટ વેરિયેબલ્સનું મેદાન બની જાય છે. Docker દરેક ડિપેન્ડન્સી ગ્રાફને તેના પોતાના ઇમેજમાં લોક કરે છે. તમે તેને એકવાર બનાવો છો, અને તે હેડલેસ Ubuntu સર્વર, WSL2 સાથેના Windows 11 ડેસ્કટોપ અથવા નાના હોમલેબ NAS પર સમાન રીતે ચાલે છે. તમે તમારી લોકલ ડેટા ડિરેક્ટરીઓને કન્ટેનરમાં bind-mount પણ કરી શકો છો જેથી તમારી ફાઇલો તમારા ફાઇલસિસ્ટમ પર રહે અને એક્ઝિક્યુશન એન્વાયરમેન્ટ ક્લીન રહે.

અહીં ખર્ચનો મુદ્દો પણ છે. Cloud LLM APIs દરેક ટોકન દીઠ ચાર્જ લે છે. જો તમે સેંકડો ટિકર્સ પર પ્રી-માર્કેટ સ્કેન કરી રહ્યા હોવ, અને મોડેલમાં પ્રાઇસ એક્શન, ન્યૂઝ સમરી અને ટેકનિકલ ઇન્ડિકેટર્સ ફીડ કરી રહ્યા હોવ, તો આ કોલ્સ ઝડપથી વધતા જાય છે. લોકલ મોડેલમાં કોઈ ચાર્જ લાગતો નથી. GPU નો શરૂઆતનો ખર્ચ એકવાર લાગે છે; જ્યારે API બિલ દર મહિને લાગે છે.

NVIDIA GPU એન્વાયરમેન્ટ્સને સમજવું

ક્લાઉડ APIs થી લોકલ NVIDIA કાર્ડ પર જવું એ માત્ર PyTorch ઇન્સ્ટોલ કરવા અને .to('cuda') કોલ કરવા જેટલું સરળ નથી. આમાં શીખવાની પ્રક્રિયા (learning curve) છે, અને તેને સમજવું એ એક શોખ માટેના સ્ક્રિપ્ટ અને એક વિશ્વસનીય વર્કસ્ટેશન વચ્ચેનો તફાવત છે.

ક્લાઉડ APIs હાર્ડવેરને છુપાવે છે. તમે JSON મોકલો છો, અને તમને JSON મળે છે. લોકલ રીતે, તમે સિસ્ટમ એડમિનિસ્ટ્રેટર છો. તમારે સાચું ડ્રાઇવર, સુસંગત CUDA toolkit અને તમારા GPU આર્કિટેક્ચર માટે કમ્પાઈલ કરેલ PyTorch બિલ્ડની જરૂર છે. ત્યારબાદ તમારે તેને તમારા રનટાઇમ સાથે જોડવું પડશે, પછી ભલે તે કન્ટેનર્સ માટે nvidia-docker રનટાઇમ કોન્ફિગર કરવાનું હોય અથવા બેર મેટલ (bare metal) પર LD_LIBRARY_PATH મેનેજ કરવાનું હોય. દરેક લેયર પાસે એક વર્ઝન ટ્યુપલ હોય છે જે મેચ થવું જોઈએ, અને જ્યારે તે થતું નથી, ત્યારે તમને મિસિંગ લાઇબ્રેરી અથવા અનઇનિશિયલાઇઝ્ડ ડિવાઇસ વિશે રહસ્યમય ભૂલો (cryptic errors) જોવા મળે છે.

આનો ફાયદો સીધું હાર્ડવેર કંટ્રોલ છે. તમે શીખો છો કે GPU મેમરી એક મર્યાદિત ક્ષમતા (hard ceiling) છે. સિસ્ટમ RAM જેવું નહીં, જ્યાં OS સ્વેપ અને પેજ કરી શકે છે, VRAM ખૂટી જવાનો અર્થ સામાન્ય રીતે ટ્રેનિંગ જોબ ક્રેશ થવી અથવા ઇન્ફરન્સ બેચ તરત જ નિષ્ફળ જવી એવો થાય છે. આ મર્યાદા તમને બેચ સાઈઝિંગ, મિશ્ર-ચોકસાઈ (mixed-precision) ટ્રેનિંગ અને મેમરી પ્રોફાઇલિંગ વિશે વિચારવા માટે મજબૂર કરે છે. તમે કમ્પ્યુટને અનંત સુવિધા તરીકે જોવાનું બંધ કરો છો અને તેને એક મર્યાદિત સંસાધન તરીકે જોવાનું શરૂ કરો છો જેનું તમારે સંચાલન કરવાનું છે.

આ અઠવાડિયે ચર્ચામાં રહેલી એક ઉપયોગી માર્ગદર્શિકા એન્ટરપ્રાઇઝ અને કન્ઝ્યુમર GPUs ને સમાન રીતે જુએ છે. તમે ડેટા સેન્ટર-ગ્રેડ A100 નો ઉપયોગ કરી રહ્યા હોવ કે કન્ઝ્યુમર RTX 4070 નો, પાયાના સિદ્ધાંતો બદલાતા નથી. બંને સમાન CUDA પ્રોગ્રામિંગ મોડેલ પર આધારિત છે. બંનેમાં તમારે ટેન્સરને (tensors) સ્પષ્ટપણે ડિવાઇસ પર ખસેડવા પડે છે. જો તમે બાર ગીગાબાઇટના કાર્ડ પર ચૌદ ગીગાબાઇટનું મોડેલ ફાળવવાનો પ્રયાસ કરો છો, તો બંને સમાન રીતે તમને સજા કરે છે. આ પાઠ કામ લાગે છે. તમે તમારા ડેસ્કટોપના કાર્ડ પર પ્રોટોટાઇપ બનાવી શકો છો અને જો તમે પાછળથી મોટા હાર્ડવેર પર સ્કેલ કરો છો, તો તે જ ઓપ્ટિમાઇઝેશન માઇન્ડસેટ લાગુ કરી શકો છો.

LeRobot v0.6.0 રોબોટિક્સને તમારા ડેસ્ક પર લાવે છે

Hugging Face એ LeRobot નું વર્ઝન 0.6.0 રિલીઝ કર્યું છે, જે એક એવું ફ્રેમવર્ક છે જે ચેટબોટ્સ અને ઈમેજ જનરેટર્સ પાછળની Transformers અને Diffusers લાઈબ્રેરીઓનો ઉપયોગ એક ખૂબ જ અલગ કાર્ય માટે કરે છે: રોબોટ લર્નિંગ (robot learning). આગામી શબ્દ અથવા પિક્સેલનું અનુમાન કરવાને બદલે, આ મોડેલ કેમેરા ફીડ અને ભાષાકીય સૂચનાના આધારે આગામી મોટર એક્શનનું અનુમાન કરે છે.

રોબોટિક્સ લાંબા સમયથી મોશન-કેપ્ચર રૂમ્સ અને ઇન્ડસ્ટ્રિયલ GPUs ના ક્લસ્ટર્સ ધરાવતી સુસજ્જ લેબ્સ માટે જ મર્યાદિત વિષય લાગતો હતો. LeRobot તે અવરોધને દૂર કરી રહ્યું છે. વર્ઝન 0.6.0 તમે રોબોટિક પોલિસીઝ કેવી રીતે ડિઝાઇન, ટ્રેન અને ઇવેલ્યુએટ કરો છો તેને સરળ બનાવે છે. તમે સિમ્યુલેશનમાં પ્રોટોટાઇપ બનાવી શકો છો, પોલિસી આર્કિટેક્ચર પર કામ કરી શકો છો, અને પછી હજારો લાઈનોનો લો-લેવલ કંટ્રોલ કોડ લખ્યા વિના તેને વાસ્તવિક રોબોટિક આર્મ અથવા મોબાઈલ બેઝ પર ટ્રાન્સફર કરી શકો છો.

આ રિલીઝને નોંધપાત્ર બનાવતી બાબત એ છે કે તે કન્ઝ્યુમર GPUs ને લક્ષ્ય બનાવે છે. પ્રયોગ કરવા માટે તમારે સર્વર રેકની જરૂર નથી. એક સિંગલ હાઈ-એન્ડ કન્ઝ્યુમર કાર્ડ એવી પોલિસીઝને ટ્રેન કરી શકે છે જે વાસ્તવિક ગ્રિપર્સ અને આર્મ્સ પર પણ કામ કરી શકે છે. આ એક સ્પષ્ટ સંકેત છે કે ઓપન-વેઇટ મોડેલ્સ હવે ક્લાઉડમાંથી બહાર નીકળીને ફિઝિકલ હાર્ડવેરમાં આવી રહ્યા છે. આ વજન (weights) તમારી ડ્રાઈવ પર રહે છે. રોબોટ API ના નેટવર્ક રાઉન્ડ-ટ્રિપ વગર સીધા કમાન્ડ મેળવે છે. જ્યારે તમે વાસ્તવિક દુનિયામાં હલતી વસ્તુને નિયંત્રિત કરી રહ્યા હોવ, ત્યારે લેટન્સી અને પ્રાઇવસીના ફાયદાઓને અવગણવા મુશ્કેલ છે.

આ સોફ્ટવેર અને હાર્ડવેર વચ્ચેની સીમા વિશેના તમારા વિચારને પણ બદલે છે. રોબોટિક પોલિસીઝ પહેલા માત્ર રિસર્ચ પેપર્સમાં જોવા મળતી હતી. હવે તેઓ એવા રિપોઝીટરીઝમાં છે જેને તમે ક્લોન કરી શકો છો, તમારા પોતાના મોશન ડેટા પર ફાઇન-ટ્યુન કરી શકો છો અને તમારી પાસે રહેલા હાર્ડવેર પર ડિપ્લોય કરી શકો છો.

સાચી જીત કંટ્રોલ (Control) માં છે

લોકલ AI સ્ટેક બનાવવાનો અર્થ સિદ્ધાંતના આધારે ક્લાઉડનો અસ્વીકાર કરવો એવો નથી. તે તમે શેને મહત્વ આપો છો તેના આધારે તમારું કમ્પ્યુટિંગ ક્યાં થશે તે પસંદ કરવા વિશે છે. જ્યારે તમે મોડેલ્સ લોકલી ચલાવો છો, ત્યારે તમારો ડેટા તમારી ડ્રાઈવ પર જ રહે છે. તમારા ખર્ચ અણધાર્યા માસિક બિલમાંથી બદલાઈને ફિક્સ્ડ હાર્ડવેર ઇન્વેસ્ટમેન્ટમાં પરિવર્તિત થાય છે. અને તમે એવી કુશળતા મેળવો છો—જેમ કે CUDA ડિબગિંગ, VRAM પ્રોફાઇલિંગ, વર્કફ્લો કન્ટેનરાઇઝેશન—જે તમને માત્ર એક API કન્ઝ્યુમર નહીં, પણ એક સિસ્ટમ્સ એન્જિનિયર બનાવે છે.

સાધનો તૈયાર છે. મોડેલ્સ કન્ઝ્યુમર કાર્ડ્સમાં સમાઈ જાય તેટલા નાના છે. હવે માત્ર એક જ પ્રશ્ન બાકી છે કે શું તમે આ સ્ટેકનો માલિક બનવા માંગો છો કે તેને ભાડે રાખવાનું ચાલુ રાખવા માંગો છો.