Cloud APIs సౌకర్యవంతంగా ఉంటాయి, కానీ అవి సౌకర్యవంతంగా ఉండటం ఆగిపోయే వరకు మాత్రమే. మీ నెలవారీ బిల్లు పెరుగుతూ పోతుంది. ధరల మార్పు మీ బడ్జెట్ను దెబ్బతీస్తుంది. మరియు ఎక్కడో ఆ చిన్న అక్షరాల నిబంధనలలో (fine print), మీ సొంత డేటా వేరొకరి మోడల్కు శిక్షణ ఇవ్వడానికి ఉపయోగించబడుతుంది. ఈ ఇబ్బంది వల్ల డెవలపర్లు మరింతగా లోకల్ AI వర్క్స్టేషన్లను నిర్మించే దిశగా వెళ్తున్నారు. మీరు హార్డ్వేర్ను ఒక్కసారి కొనుగోలు చేస్తారు, మొత్తం స్టాక్పై మీకు పూర్తి యాజమాన్యం ఉంటుంది, మరియు మీ మెషీన్ నుండి ఏ డేటా బయటకు వెళ్లాలో మీరే నిర్ణయించుకోవచ్చు.
ఈ వారం మూడు ముఖ్యమైన పరిణామాలు ఆ మార్పును మరింత ఆచరణాత్మకం చేశాయి: మీ ఆర్థిక డేటాను మీ వద్దే ఉంచే ఒక Dockerized ట్రేడింగ్ అసిస్టెంట్, NVIDIA GPUsలను మీ నియంత్రణలోకి తెచ్చుకోవడానికి ఒక సరళమైన గైడ్, మరియు రోబోట్ లెర్నింగ్ను కన్స్యూమర్ డెస్క్టాప్ పరిధిలోకి తీసుకువచ్చే Hugging Face నుండి ఒక కొత్త విడుదల.
Dockerతో మీ ట్రేడింగ్ డేటాను లోకల్గా ఉంచుకోండి
ఒక డెవలపర్ TradingSpyని విడుదల చేశారు, ఇది ప్రత్యేకంగా ట్రేడింగ్ వర్క్ఫ్లోల కోసం రూపొందించబడిన ఒక లోకల్ AI రీసెర్చ్ అసిస్టెంట్. మార్కెట్ డేటా మరియు వ్యక్తిగత వాచ్లిస్ట్లను రిమోట్ ఎండ్పాయింట్కు పంపే బదులు, మీరు మీ స్వంత హార్డ్వేర్పై ఒక Docker కంటైనర్ లోపల అన్నింటినీ రన్ చేయవచ్చు.
ఆర్థిక డేటా అనేది అత్యంత సున్నితమైనది. వీలైనంత వరకు మీ పోర్ట్ఫోలియో వివరాలు, ట్రేడింగ్ నోట్స్ మరియు హిస్టారికల్ పొజిషన్స్ థర్డ్-పార్టీ API ద్వారా వెళ్లకూడదు. మోడల్ను లోకల్గా రన్ చేయడం వల్ల ఆ రిస్క్ పూర్తిగా తొలగిపోతుంది. కంటైనర్ ఇన్ఫరెన్స్ను (inference) నిర్వహిస్తుంది మరియు మీ బ్రోకరేజ్ డేటా మీ మెషీన్ నుండి బయటకు వెళ్లాల్సిన అవసరం ఉండదు.
పైథాన్ మెషిన్ లెర్నింగ్ ప్రాజెక్ట్లను ఇబ్బంది పెట్టే సంక్లిష్టమైన డిపెండెన్సీ (dependency) సమస్యను కూడా Docker పరిష్కరిస్తుంది. ట్రేడింగ్ స్టాక్లలో తరచుగా pandas వంటి డేటా లైబ్రరీలు, టెక్నికల్ అనాలిసిస్ టూల్కిట్లు మరియు GPU-accelerated ఇన్ఫరెన్స్ ఇంజన్లు కలిసి ఉంటాయి. ఐసోలేషన్ (isolation) లేకపోతే, ఒక ప్రాజెక్ట్కు CUDA 11.8 కావాలి, మరొకటి 12.1 కావాలి, దీనివల్ల మీ బేస్ సిస్టమ్ పరస్పర విరుద్ధమైన ఎన్విరాన్మెంట్ వేరియబుల్స్తో నిండిపోతుంది. Docker ప్రతి డిపెండెన్సీ గ్రాఫ్ను దాని స్వంత ఇమేజ్లోకి లాక్ చేస్తుంది. మీరు దానిని ఒక్కసారి నిర్మిస్తే, అది హెడ్లెస్ Ubuntu సర్వర్, WSL2 ఉన్న Windows 11 డెస్క్టాప్ లేదా చిన్న హోమ్ల్యాబ్ NAS పై ఒకేలా పనిచేస్తుంది. మీ ఫైల్స్ మీ ఫైల్సిస్టమ్లోనే ఉండేలా మరియు ఎగ్జిక్యూషన్ ఎన్విరాన్మెంట్ క్లీన్గా ఉండేలా, మీరు మీ లోకల్ డేటా డైరెక్టరీలను కంటైనర్లోకి bind-mount కూడా చేయవచ్చు.
ఇక్కడ ఖర్చుకు సంబంధించిన అంశం కూడా ఉంది. క్లౌడ్ LLM APIలు ప్రతి టోకెన్కు ఛార్జ్ చేస్తాయి. మీరు వందలాది టిక్కర్ల కోసం ప్రీ-మార్కెట్ స్కాన్ చేస్తూ, ధరల కదలికలు, వార్తా సారాంశాలు మరియు టెక్నికల్ ఇండికేటర్లను మోడల్కు అందిస్తుంటే, ఆ కాల్స్ వేగంగా పెరుగుతాయి. లోకల్ మోడల్కు ఎటువంటి అదనపు ఖర్చు ఉండదు. GPU కోసం చేసే ప్రారంభ పెట్టుబడి ఒక్కసారి మాత్రమే ఉంటుంది; కానీ API బిల్లు ప్రతి నెలా భారంగా మారుతుంది.
NVIDIA GPU ఎన్విరాన్మెంట్లను అర్థం చేసుకోవడం
క్లౌడ్ APIల నుండి లోకల్ NVIDIA కార్డ్కు మారడం అనేది కేవలం PyTorch ఇన్స్టాల్ చేసి .to('cuda') అని పిలవడం అంత సులభం కాదు. దీనికి కొంత నేర్చుకోవాల్సిన అవసరం ఉంది, మరియు దానిని అర్థం చేసుకోవడం వల్ల ఒక సాధారణ స్క్రిప్ట్కు మరియు నమ్మదగిన వర్క్స్టేషన్కు మధ్య తేడా తెలుస్తుంది.
క్లౌడ్ APIలు హార్డ్వేర్ను దాచిపెడతాయి. మీరు JSON పంపుతారు, JSON పొందుతారు. లోకల్గా, మీరే సిస్టమ్ అడ్మినిస్ట్రేటర్. మీకు సరైన డ్రైవర్, అనుకూలమైన CUDA టూల్కిట్ మరియు మీ GPU ఆర్కిటెక్చర్ కోసం కంపైల్ చేయబడిన PyTorch బిల్డ్ అవసరం. ఆ తర్వాత, మీరు దానిని మీ రన్టైమ్లోకి అనుసంధానించాలి, అది కంటైనర్ల కోసం nvidia-docker రన్టైమ్ను కాన్ఫిగర్ చేయడం కావచ్చు లేదా బేర్ మెటల్పై LD_LIBRARY_PATHని నిర్వహించడం కావచ్చు. ప్రతి లేయర్కు సరిపోలే వెర్షన్ టపుల్ (version tuple) ఉండాలి, అది సరిపోనప్పుడు, మిస్సింగ్ లైబ్రరీలు లేదా అన్ఇనిషియలైజ్డ్ డివైస్ల గురించి అర్థం కాని ఎర్రర్లు వస్తాయి.
దీని వల్ల కలిగే ప్రయోజనం నేరుగా హార్డ్వేర్ నియంత్రణ. GPU మెమరీ అనేది ఒక కఠినమైన పరిమితి (hard ceiling) అని మీరు తెలుసుకుంటారు. సిస్టమ్ RAM లాగా కాకుండా, ఇక్కడ OS స్వ్యాప్ మరియు పేజింగ్ చేయలేదు; VRAM అయిపోవడం అంటే సాధారణంగా ట్రైనింగ్ జాబ్ క్రాష్ అవ్వడం లేదా ఇన్ఫరెన్స్ బ్యాచ్ వెంటనే విఫలం కావడం అని అర్థం. ఆ పరిమితి మిమ్మల్ని బ్యాచ్ సైజింగ్, మిక్స్డ్-ప్రిసిషన్ ట్రైనింగ్ మరియు మెమరీ ప్రొఫైలింగ్ గురించి ఆలోచించేలా చేస్తుంది. మీరు కంప్యూట్ను అనంతమైన సదుపాయంగా చూడటం మానేసి, దానిని మీరు నిర్వహించాల్సిన పరిమిత వనరుగా చూడటం ప్రారంభిస్తారు.
ఈ వారం అందుబాటులోకి వచ్చిన ఒక ఉపయోగకరమైన గైడ్, ఎంటర్ప్రైజ్ మరియు కన్స్యూమర్ GPUలను ఒకే రకమైనవిగా పరిగణిస్తుంది. మీరు డేటాసెంటర్-గ్రేడ్ A100ని ఉపయోగిస్తున్నా లేదా కన్స్యూమర్ RTX 4070ని ఉపయోగిస్తున్నా, ప్రాథమిక సూత్రాలు మారవు. రెండూ ఒకే CUDA ప్రోగ్రామింగ్ మోడల్పై ఆధారపడతాయి. రెండూ టెన్సర్లను (tensors) స్పష్టంగా డివైస్కు తరలించాల్సి ఉంటుంది. మీరు పన్నెండు గిగాబైట్ల కార్డ్పై పద్నాలుగు గిగాబైట్ల మోడల్ను కేటాయించడానికి ప్రయత్నిస్తే, రెండూ ఒకేలా విఫలమవుతాయి. ఆ పాఠాలు వర్తిస్తాయి. మీరు మీ డెస్క్టాప్లోని కార్డ్పై ప్రోటోటైప్ చేయవచ్చు మరియు తర్వాత పెద్ద హార్డ్వేర్కు మారినప్పుడు కూడా అదే ఆప్టిమైజేషన్ విధానాన్ని అనుసరించవచ్చు.
LeRobot v0.6.0 రోబోటిక్స్ను మీ డెస్క్టాప్కు తీసుకువస్తుంది
Hugging Face, LeRobot యొక్క వెర్షన్ 0.6.0ని విడుదల చేసింది. ఇది చాట్బాట్లు మరియు ఇమేజ్ జనరేటర్ల వెనుక ఉన్న Transformers మరియు Diffusers లైబ్రరీలనే ఒక భిన్నమైన పని కోసం, అంటే రోబోట్ లెర్నింగ్ (robot learning) కోసం ఉపయోగిస్తుంది. తదుపరి పదం లేదా పిక్సెల్ను అంచనా వేయడానికి బదులుగా, ఈ మోడల్ కెమెరా ఫీడ్ మరియు లాంగ్వేజ్ ఇన్స్ట్రక్షన్ (language instruction) ఆధారంగా తదుపరి మోటార్ యాక్షన్ను (motor action) అంచనా వేస్తుంది.
రోబోటిక్స్ అనేది చాలా కాలంగా మోషన్-క్యాప్చర్ గదులు మరియు ఇండస్ట్రియల్ GPU క్లస్టర్లు అందుబాటులో ఉన్న భారీ నిధులు కలిగిన ల్యాబ్లకు మాత్రమే పరిమితమైన విభాగంలా అనిపించింది. LeRobot ఆ అడ్డంకిని తగ్గిస్తోంది. వెర్షన్ 0.6.0 మీరు రోబోటిక్ పాలసీలను (robotic policies) ఎలా డిజైన్ చేస్తారు, ట్రైన్ చేస్తారు మరియు ఎలా ఎవాల్యుయేట్ చేస్తారు అనే ప్రక్రియను సులభతరం చేస్తుంది. మీరు సిమ్యులేషన్లో ప్రోటోటైప్ చేయవచ్చు, పాలసీ ఆర్కిటెక్చర్ను మెరుగుపరచవచ్చు, మరియు వేల లైన్ల లో-లెవల్ కంట్రోల్ కోడ్ రాయకుండానే నిజమైన ఆర్మ్ లేదా మొబైల్ బేస్కు దానిని బదిలీ చేయవచ్చు.
ఈ విడుదల ప్రత్యేకంగా నిలవడానికి కారణం ఇది కన్స్యూమర్ GPUలను లక్ష్యంగా చేసుకోవడమే. ప్రయోగాలు చేయడానికి మీకు సర్వర్ రాక్ అవసరం లేదు. ఒకే ఒక హై-ఎండ్ కన్స్యూమర్ కార్డ్ ద్వారా నిజమైన గ్రిప్పర్లు మరియు ఆర్మ్స్కు సరిపోయే పాలసీలను ట్రైన్ చేయవచ్చు. ఓపెన్-వెయిట్ మోడల్స్ క్లౌడ్ నుండి భౌతిక హార్డ్వేర్లోకి వస్తున్నాయనే స్పష్టమైన సంకేతం ఇది. వెయిట్స్ మీ డ్రైవ్లోనే ఉంటాయి. APIకి నెట్వర్క్ రౌండ్-ట్రిప్ అవసరం లేకుండానే రోబోట్ ఆదేశాలను అందుకుంటుంది. మీరు నిజ ప్రపంచంలో కదిలే దేనినైనా నియంత్రిస్తున్నప్పుడు, లేటెన్సీ (latency) మరియు ప్రైవసీ ప్రయోజనాలను విస్మరించడం కష్టం.
ఇది సాఫ్ట్వేర్ మరియు హార్డ్వేర్ మధ్య ఉన్న సరిహద్దు గురించి మీ ఆలోచనా విధానాన్ని కూడా మారుస్తుంది. రోబోటిక్ పాలసీలు గతంలో కేవలం రీసెర్చ్ పేపర్లలో మాత్రమే ఉండేవి. ఇప్పుడు మీరు వాటిని క్లోన్ చేయవచ్చు, మీ స్వంత మోషన్ డేటాపై ఫైన్-ట్యూన్ చేయవచ్చు మరియు మీకు ఉన్న హార్డ్వేర్పై డిప్లాయ్ చేయవచ్చు.
అసలైన విజయం నియంత్రణలోనే ఉంది
లోకల్ AI స్టాక్ను నిర్మించడం అంటే సిద్ధాంతపరంగా క్లౌడ్ను తిరస్కరించడం కాదు. మీరు దేనికి ప్రాధాన్యత ఇస్తారు అనే దాని ఆధారంగా మీ కంప్యూట్ ఎక్కడ జరగాలి అనేది ఎంచుకోవడం. మీరు మోడల్స్ను లోకల్గా రన్ చేసినప్పుడు, మీ డేటా మీ డ్రైవ్లలోనే ఉంటుంది. మీ ఖర్చులు అంచనా వేయలేని నెలవారీ బిల్లుల నుండి స్థిరమైన హార్డ్వేర్ పెట్టుబడికి మారుతాయి. మరియు మీరు CUDA డీబగ్గింగ్, VRAM ప్రొఫైలింగ్, వర్క్ఫ్లోలను కంటైనరైజ్ చేయడం వంటి నైపుణ్యాలను నేర్చుకుంటారు—ఇవి మిమ్మల్ని కేవలం ఒక API వినియోగదారుడిలా కాకుండా, ఒక సిస్టమ్స్ ఇంజనీర్గా మారుస్తాయి.
సాధనాలు సిద్ధంగా ఉన్నాయి. మోడల్స్ కన్స్యూమర్ కార్డ్లలో సరిపోయేంత చిన్నవిగా ఉన్నాయి. మిగిలి ఉన్న ఏకైక ప్రశ్న ఏమిటంటే, మీరు ఆ స్టాక్ను సొంతం చేసుకోవాలనుకుంటున్నారా లేదా అద్దెకు తీసుకోవాలనుకుంటున్నారా?