లినుక్స్‌తో ఇరవై ఏళ్లు, ఇప్పుడు నా స్వంత AIని నేను నడుపుతున్నాను

నేను దాదాపు 20 ఏళ్లుగా Linux మరియు Ubuntu ఉపయోగిస్తున్నాను. 2007లో మా నాన్నగారు Ubuntu ఇన్‌స్టాల్ చేయడం గురించి నాకు ఒక ఈమెయిల్ పంపినప్పుడే నా ప్రయాణం మొదలైంది.

నేడు, AI అనేది ఒక పెద్ద ట్రెండ్. చాలా మంది లార్జ్ లాంగ్వేజ్ మోడల్స్ (large language models) కోసం భారీ రుసుము చెల్లిస్తున్నారు. Copilot మరియు Anthropic వంటి కంపెనీలు తరచుగా తమ లైసెన్స్‌లను మారుస్తుంటాయి. దీనివల్ల ఖర్చులు వేగంగా పెరుగుతాయి.

దీనిని పరిష్కరించడానికి నేను ఓపెన్ సోర్స్ (open source) ఉపయోగిస్తున్నాను. నా Apple Silicon Mac పై నేను ఒక లోకల్ AI స్టాక్‌ను (local AI stack) నిర్మించుకున్నాను.

నేను Ollama కి బదులుగా oMLX ఉపయోగిస్తున్నాను. ఇది Mac హార్డ్‌వేర్‌పై మెరుగ్గా పనిచేస్తుంది. నేను Hugging Face నుండి మోడల్స్‌ను డౌన్‌లోడ్ చేసుకుంటాను. నేను mlx-community బిల్డ్స్‌ను ఉపయోగిస్తాను. అవి 4-bit quantized. దీనివల్ల 60GB మోడల్ 17GB డిస్క్ స్పేస్‌లో సరిపోతుంది.

నేను oMLXని Homebrew సర్వీస్‌గా ఎల్లప్పుడూ రన్ చేస్తూ ఉంటాను. నేను లాగిన్ అయినప్పుడు ఇది ప్రారంభమవుతుంది మరియు ఒకవేళ క్రాష్ అయితే మళ్ళీ రీస్టార్ట్ అవుతుంది.

నేను దీనిని ఎలా సెటప్ చేశానంటే:

• brew trust jundot/omlx • brew services start omlx

మీరు 'trust' స్టెప్‌ను వదిలేస్తే, Homebrew విఫలమవుతుంది.

నేను ఉపయోగించనప్పుడు oMLX ఖాళీగా (idle) ఉంటుంది. నేను పిలిచినప్పుడు మాత్రమే ఇది నా CPU మరియు GPUని ఉపయోగిస్తుంది. నేను దీనిని Zed editor లేదా opencode terminal వంటి నా టూల్స్‌కు కనెక్ట్ చేస్తాను.

నా మెషీన్‌లో నాకు లభించే వేగం ఇక్కడ ఉంది:

Nemotron అనేది ఒక mixture-of-experts మోడల్. ఇది ప్రతి టోకెన్ కోసం దాని వెయిట్స్ (weights) లో ఒక చిన్న భాగాన్ని మాత్రమే ఉపయోగిస్తుంది కాబట్టి చాలా వేగంగా నడుస్తుంది.

లోకల్ మోడల్స్‌ను రన్ చేయడం నాకు స్వేచ్ఛను ఇస్తుంది. నేను స్క్రిప్ట్‌లను లూప్‌లో రన్ చేయవచ్చు లేదా launchd తో పనులను షెడ్యూల్ చేయవచ్చు. నాకు వీక్లీ చెక్‌లిస్ట్‌లు మరియు డైలీ ప్లానింగ్ కోసం పనులు ఉన్నాయి. API ఖర్చులు లేదా టోకెన్ పరిమితుల గురించి ఆందోళన చెందకుండా నేను రాత్రంతా భారీ పనులను రన్ చేయగలను.

నేను VoiceInk మరియు Whisperలను కూడా లోకల్‌గా ఉపయోగిస్తాను. ఇది డేటాను థర్డ్ పార్టీలకు పంపకుండా ఆడియోను ట్రాన్స్‌క్రైబ్ (transcribe) చేయడానికి నాకు అనుమతిస్తుంది.

Apple Silicon హార్డ్‌వేర్ ఖరీదైనది. అయినప్పటికీ, మీరు ఇప్పటికే చెల్లించిన శక్తిని ఉపయోగించి మీ స్వంత AIని నడపడానికి ఇది మిమ్మల్ని అనుమతిస్తుంది.

నా పూర్తి సెటప్‌ను ఇక్కడ చూడవచ్చు: github.com/kenahrens/mac-local-ai

మూలం: https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9

ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi