Linux के बीस साल, और अब मैं अपना खुद का AI चलाता हूँ
मैं लगभग 20 वर्षों से Linux और Ubuntu का उपयोग कर रहा हूँ। मेरा सफर 2007 में शुरू हुआ था जब मेरे पिताजी ने मुझे Ubuntu इंस्टॉल करने के बारे में एक ईमेल भेजा था।
आज, AI एक बड़ा ट्रेंड है। अधिकांश लोग large language models के लिए भारी शुल्क देते हैं। Copilot और Anthropic जैसी कंपनियाँ अक्सर अपने लाइसेंस बदलती रहती हैं। इससे लागत तेज़ी से बढ़ती है।
मैं इस समस्या को हल करने के लिए open source का उपयोग करता हूँ। मैंने अपने Apple Silicon Mac पर एक local AI stack बनाया है।
मैं Ollama के बजाय oMLX का उपयोग करता हूँ। यह Mac hardware पर बेहतर काम करता है। मैं Hugging Face से models डाउनलोड करता हूँ। मैं mlx-community builds का उपयोग करता हूँ। वे 4-bit quantized होते हैं। इससे 60GB का model केवल 17GB डिस्क स्पेस में समा जाता है।
मैं oMLX को हमेशा एक Homebrew service के रूप में चलाता रहता हूँ। यह मेरे लॉग इन करते ही शुरू हो जाता है और क्रैश होने पर फिर से शुरू (restart) हो जाता है।
इसे सेटअप करने का तरीका यहाँ दिया गया है:
• brew trust jundot/omlx
• brew services start omlx
यदि आप trust स्टेप को छोड़ देते हैं, तो Homebrew विफल हो जाएगा।
जब मैं इसका उपयोग नहीं कर रहा होता हूँ, तो oMLX idle रहता है। यह मेरे CPU और GPU का उपयोग केवल तभी करता है जब मैं इसे कॉल करता हूँ। मैं इसे Zed editor या opencode terminal जैसे अपने टूल्स से जोड़ता हूँ।
मेरे मशीन पर मिलने वाली स्पीड यहाँ दी गई है:
- Gemma 4 (31B): 27 tokens/sec
- Qwen 3.6 (27B): 30 tokens/sec
- Nemotron (30B): 158 tokens/sec
Nemotron एक mixture-of-experts model है। यह बहुत तेज़ी से चलता है क्योंकि यह प्रत्येक token के लिए अपने weights के केवल एक छोटे हिस्से का उपयोग करता है।
local models चलाने से मुझे आज़ादी मिलती है। मैं scripts को loop पर चला सकता हूँ या launchd के साथ tasks को schedule कर सकता हूँ। मेरे पास साप्ताहिक चेकलिस्ट और दैनिक योजना (daily planning) के लिए jobs हैं। मैं API लागत या token limits की चिंता किए बिना रात भर भारी tasks चला सकता हूँ।
मैं VoiceInk और Whisper का भी स्थानीय रूप से उपयोग करता हूँ। इससे मैं डेटा को third parties को भेजे बिना ऑडियो को transcribe कर सकता हूँ।
Apple Silicon hardware महंगा है। हालाँकि, यह आपको अपनी खुद की AI चलाने के लिए उस power का उपयोग करने की अनुमति देता है जिसके लिए आप पहले ही भुगतान कर चुके हैं।
आप मेरा पूरा setup यहाँ पा सकते हैं: github.com/kenahrens/mac-local-ai
स्रोत: https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi