AI క్లౌడ్‌లోనే ఉండాల్సిన అవసరం లేదు. గత ఏడాది కాలంలో, ఈ రంగంలో వచ్చిన అత్యంత ఆసక్తికరమైన మార్పు పెద్ద మోడల్ లేదా మెరిసే చాట్‌బాట్ కాదు. అది మీ డెస్క్ కింద ఉన్న సాధారణ హార్డ్‌వేర్‌లోకి భారీ వర్క్‌లోడ్‌లు నిశ్శబ్దంగా మారుతుండటం, మరియు ప్రీమియం APIల కోసం డబ్బు ఖర్చు చేయడం తరచుగా అనవసరమని పెరుగుతున్న అవగాహన. మూడు ఇటీవలి పరిణామాలు దీనిని ఇప్పుడు సాధ్యం చేస్తాయి: ఇమేజ్ జనరేషన్ మోడల్స్ యొక్క అవుట్‌పుట్‌ను దెబ్బతీయకుండా వాటి పరిమాణాన్ని తగ్గించే కొత్త క్వాంటైజేషన్ ఇంజిన్, మీ డేటాను మీ మెషీన్‌లోనే ఉంచే డెస్క్‌టాప్ ఏజెంట్, మరియు చాలా టీమ్‌లు విస్మరిస్తున్న ఒక సరళమైన ఖర్చు తగ్గింపు వ్యూహం.

మీ వద్దే క్వాంటైజ్డ్ డిఫ్యూజన్ నడుస్తుంది

Hugging Face, డిఫ్యూజన్ మోడల్స్ కోసం ప్రత్యేకంగా రూపొందించబడిన 4-bit క్వాంటైజేషన్ పద్ధతి అయిన Nunchakuను విడుదల చేసింది. ఇది ప్రముఖ Diffusers లైబ్రరీకి నేరుగా అనుసంధానించబడుతుంది, అంటే మీరు మీ పైప్‌లైన్‌ను మొదటి నుండి నిర్మించాల్సిన అవసరం లేకుండానే దీనిని ఇప్పటికే ఉన్న సెటప్‌లలో ఉపయోగించవచ్చు.

4-bit క్వాంటైజేషన్ అంటే నిజంగా ఏమిటి? సరళంగా చెప్పాలంటే, ఇది మోడల్ యొక్క వెయిట్స్ (weights) యొక్క సంఖ్యాపరమైన ఖచ్చితత్వాన్ని (numerical precision) కుదిస్తుంది. ప్రతి పారామీటర్‌ను పూర్తి 32-bit లేదా 16-bit ఖచ్చితత్వంతో నిల్వ చేయడానికి బదులుగా, Nunchaku ప్రతి వెయిట్‌ను నాలుగు బిట్‌లకు తగ్గిస్తుంది. మోడల్ అసలు డిస్క్ స్పేస్‌లో చాలా తక్కువ భాగాన్ని ఆక్రమిస్తుంది మరియు అంతకంటే ముఖ్యంగా, లోడ్ అయిన తర్వాత చాలా తక్కువ VRAMని కోరుకుంటుంది. 8 GB లేదా 12 GB VRAM ఉన్న కన్స్యూమర్ GPUలను ఉపయోగించే వినియోగదారులకు, ఇది ప్రోగ్రెస్ బార్ నెమ్మదిగా కదలడం చూసేదా లేదా నిజంగా ఇమేజ్‌ను జనరేట్ చేయడం చూసేదా అనే తేడాను చూపుతుంది.

దీని వల్ల కలిగే ఆచరణాత్మక ఫలితం గణనీయమైనది. గతంలో ఈ పనికి తక్కువ సామర్థ్యం ఉన్నాయని భావించిన హార్డ్‌వేర్‌పై కూడా మీరు పెద్ద డిఫ్యూజన్ మోడల్‌లను నడపవచ్చు. కొన్ని తరాల క్రితం నాటి మిడ్-రేంజ్ కార్డ్ అకస్మాత్తుగా హై-రిజల్యూషన్ ఇమేజ్ సింథసిస్ కోసం ఉపయోగపడేలా మారుతుంది. మరియు Nunchaku విజువల్ ఫిడెలిటీని కాపాడేలా రూపొందించబడినందున, అవుట్‌పుట్ మసకబారదు. మీరు గేమ్ అసెట్స్‌ను ప్రోటోటైపింగ్ చేస్తున్నా, ప్రొడక్ట్ మాక్స్‌ను జనరేట్ చేస్తున్నా లేదా ఇలస్ట్రేషన్లను బ్యాచ్-ప్రాసెస్ చేస్తున్నా, చిత్రాలు వాస్తవ వినియోగానికి సరిపడా షార్ప్‌గా ఉంటాయి.

ఇందులో ప్రైవసీ కోణం కూడా ఉంది. డిఫ్యూజన్‌ను లోకల్‌గా రన్ చేయడం అంటే మీ ప్రాంప్ట్‌లు మరియు జనరేట్ చేసిన చిత్రాలు మీ మెషీన్ నుండి బయటకు వెళ్లవు అని అర్థం. మీరు సున్నితమైన కాన్సెప్ట్ ఆర్ట్ లేదా ప్రొప్రైటరీ డిజైన్‌లను రిమోట్ సర్వర్‌కు అప్‌లోడ్ చేయడం లేదు. అంతా మీ డిస్క్‌లోనే, మీ ఫైర్‌వాల్ వెనుక ఉంటుంది. కాన్ఫిడెన్షియల్ IPని హ్యాండిల్ చేసే స్టూడియోలు లేదా నియంత్రిత పరిశ్రమలలో పనిచేసే క్రియేటివ్స్ కోసం, ఆ ఐసోలేషన్ అనేది విలాసం కాదు. అది ఒక అవసరం.

నిజంగా ఆఫ్‌లైన్‌లో పనిచేసే డెస్క్‌టాప్ ఏజెంట్లు

మీ డెస్క్‌టాప్‌ను ఆటోమేట్ చేయడానికి క్లౌడ్ APIలు మాత్రమే ఏకైక మార్గం కాదు. Claude Cowork అనే AI ఏజెంట్ ఫ్రేమ్‌వర్క్ ఇప్పుడు Windows మరియు Linux లలో నేటివ్‌గా నడుస్తుంది. దీని సెటప్ చాలా సులభం, కాబట్టి మీరు ప్రతి చర్యను ఎక్స్‌టర్నల్ ఎండ్‌పాయింట్ ద్వారా పంపే బదులు, ఏజెంట్‌ను లోకల్‌గా హోస్ట్ చేయవచ్చు.

ఒకసారి రన్ అయిన తర్వాత, Claude Cowork సాధారణ ఆఫీస్ పనులను నిర్వహిస్తుంది. ఇది ఫైళ్లను డ్రాఫ్ట్ చేస్తుంది, రసీదులను ఆర్గనైజ్ చేస్తుంది మరియు నేచురల్ లాంగ్వేజ్ సూచనల ఆధారంగా ఫోల్డర్‌ల మధ్య డేటాను మారుస్తుంది. అప్లికేషన్ లాజిక్ మీ మెషీన్‌లోనే అమలు అవుతుంది, ఇది రోజువారీ పని యొక్క స్వభావాన్ని మారుస్తుంది. బ్రౌజర్ ట్యాబ్‌లోకి టెక్స్ట్‌ను కాపీ చేసి సర్వర్ రెస్పాన్స్ కోసం వేచి ఉండటానికి బదులుగా, మీరు షెల్ స్క్రిప్ట్‌తో మాట్లాడినట్లే, కానీ సాధారణ ఇంగ్లీష్‌లో ఆదేశాలను జారీ చేయవచ్చు.

ఏజెంట్‌ను లోకల్‌గా ఉంచడం అనేది కేవలం వేగం కోసం మాత్రమే కాదు. మీ ఫైళ్లు, ఫైల్ పేర్లు మరియు ఫోల్డర్ స్ట్రక్చర్‌లు వేరొకరి క్లౌడ్‌లోకి వెళ్లవు. మీరు ఆర్థిక రికార్డులు, చట్టపరమైన పత్రాలు లేదా డేటా రెసిడెన్సీ నిబంధనలకు లోబడి ఉన్న వాటిని నిర్వహిస్తుంటే, ఆ నియంత్రణ యొక్క ప్రాముఖ్యతను ఎంత చెప్పినా తక్కువే. డెస్క్‌టాప్ ఏజెంట్ మీ డైరెక్టరీ లిస్టింగ్‌తో ఎక్కడికీ సమాచారాన్ని పంపదు. అది మీ టాక్స్ స్ప్రెడ్‌షీట్‌లపై శిక్షణ పొందదు.

AIని మీ వర్క్‌ఫ్లోకు ఇంత దగ్గరగా తీసుకురావడం వల్ల ఘర్షణలు తగ్గుతాయి. మీరు టోకెన్‌లు లేదా API కీల గురించి ఆలోచించడం మానేస్తారు. వెస్ట్ కోస్ట్ ప్రాంతంలో సర్వీస్ అంతరాయం కలిగితే మీ ఆటోమేషన్ ఆగిపోతుందేమో అని మీరు ఆందోళన చెందాల్సిన అవసరం లేదు. ఈ సాధనం అద్దెకు తీసుకున్న దూరపు ఉద్యోగిలా కాకుండా, మీ ఆపరేటింగ్ సిస్టమ్‌లో ఒక భాగంగా మారుతుంది.

ఖరీదైన మోడళ్లకు సాధారణ పనులను పంపడం ఆపండి

అనవసరంగా బడ్జెట్‌లను ఖర్చు చేసే ఒక అలవాటు ఇక్కడ ఉంది: ప్రతి చిన్న పని కోసం Claude Opusని పిలవడం. ప్రీమియం రీజనింగ్ ఎప్పుడూ ఆ ధరకి తగినట్లుగా ఉంటుందని భావిస్తూ, చాలా మంది డెవలపర్లు అందుబాటులో ఉన్న అతిపెద్ద, అత్యంత ఖరీదైన మోడల్‌నే ఎంచుకుంటారు. కానీ అది నిజం కాదు.

సుమారు 60% నుండి 70% AI పనులు సాధారణ ఫైల్ రీడింగ్, టెక్స్ట్ ఎక్స్‌ట్రాక్షన్, ప్యాటర్న్ మ్యాచింగ్ లేదా బేసిక్ కమాండ్ రూటింగ్ వంటివి. ఈ పనులకు అత్యున్నత స్థాయి రీజనింగ్ అవసరం లేదు. వాటికి సమర్థవంతమైన మరియు వేగవంతమైన అమలు అవసరం. ఒక తేలికపాటి డైరెక్టరీ స్కాన్‌ను టాప్-టియర్ మోడల్‌కు పంపడం అనేది, ఒక వైట్‌బోర్డ్‌ను తగిలించడానికి సీనియర్ ఆర్కిటెక్ట్‌ను నియమించుకోవడం వంటిది. పని పూర్తవుతుంది, కానీ మీరు ఉపయోగించని నైపుణ్యం కోసం డబ్బు చెల్లిస్తారు.

ఒక క్రమానుగత విధానం (tiered approach) దీనిని పరిష్కరిస్తుంది. చిన్న పనులను లోకల్ మోడల్స్ లేదా చిన్న క్లౌడ్ ఎండ్‌పాయింట్‌లకు మళ్లించండి. క్లాసిఫికేషన్, సమ్మరైజేషన్ మరియు ఫార్మాటింగ్ కోసం మీ స్వంత హార్డ్‌వేర్‌పై నడిచే 7-బిలియన్-పారామీటర్ మోడల్‌ను ఉపయోగించండి. క్లిష్టమైన లాజిక్, మల్టీ-స్టెప్ ప్లానింగ్ లేదా లోతైన డొమైన్ రీజనింగ్ నిజంగా అవసరమయ్యే పనుల కోసం Claude Opusతో సహా భారీ మోడల్స్‌ను (heavyweights) ఉంచుకోండి.

ఇది ఖర్చులను గణనీయంగా తగ్గిస్తుంది, అదే సమయంలో మీ పైప్‌లైన్‌ను వేగవంతం చేస్తుంది. చిన్న మోడల్స్ తక్షణమే స్పందిస్తాయి. అవి షేర్డ్ APIలో ఎంటర్‌ప్రైజ్ ట్రాఫిక్ వెనుక క్యూలో నిలబడవు. మీకు సమాధానాలు వేగంగా వస్తాయి మరియు మీ నెలవారీ బిల్లు తగ్గుతుంది. ఈ వ్యూహం నాణ్యతతో రాజీ పడటం గురించి కాదు; ఇది పని స్వభావాన్ని బట్టి సరైన శక్తిని (horsepower) ఉపయోగించడం గురించి.

అసలైన సారాంశం

ఇక్కడ ఉన్న ఉమ్మడి అంశం స్వతంత్రత. Nunchaku ద్వారా మీరు క్లస్టర్‌ను అద్దెకు తీసుకోకుండానే చిత్రాలను రూపొందించవచ్చు. Claude Cowork మీ ఆటోమేషన్‌ను మీ స్వంత హార్డ్‌వేర్‌పైనే ఉంచుతుంది. క్రమానుగత మోడల్ వ్యూహం, చిన్న పనుల కోసం కూడా లగ్జరీ ఇంజిన్‌ను అద్దెకు తీసుకోవడం వంటి అనవసర ఖర్చుల నుండి మిమ్మల్ని కాపాడుతుంది. ఇవన్నీ కలిసి AIతో పనిచేయడానికి తక్కువ ఖర్చుతో కూడిన, వేగవంతమైన మరియు మరింత ప్రైవేట్ మార్గాన్ని సూచిస్తున్నాయి. ఈ వారం ఒక ప్రయోగంతో ప్రారంభించండి. మీ ప్రస్తుత GPUపై Nunchakuని ఇన్‌స్టాల్ చేయండి, సాధారణ ఫైలింగ్ టాస్క్ కోసం లోకల్ ఏజెంట్‌ను పరీక్షించండి, లేదా ఎన్ని కాల్స్‌కు నిజంగా టాప్-టియర్ మోడల్ అవసరమో తెలుసుకోవడానికి మీ API లాగ్స్‌ను తనిఖీ చేయండి. సాధనాలు సిద్ధంగా ఉన్నాయి. ఆదా అనేది నిజం.

మూలం: Dev.to original coverage

ఐచ్ఛిక అభ్యాస సమూహం: GyaanSetu AI on Telegram