𝗟𝗶𝗻𝘂𝘅 ਦੇ ਵੀਹ ਸਾਲ, ਅਤੇ ਹੁਣ ਮੈਂ ਆਪਣਾ ਖੁਦ ਦਾ AI ਚਲਾਉਂਦਾ ਹਾਂ
ਮੈਂ ਲਗਭਗ 20 ਸਾਲਾਂ ਤੋਂ Linux ਅਤੇ Ubuntu ਦੀ ਵਰਤੋਂ ਕਰ ਰਿਹਾ ਹਾਂ। ਮੇਰਾ ਸਫ਼ਰ 2007 ਵਿੱਚ ਸ਼ੁਰੂ ਹੋਇਆ ਸੀ ਜਦੋਂ ਮੇਰੇ ਪਿਤਾ ਜੀ ਨੇ ਮੈਨੂੰ Ubuntu ਇੰਸਟਾਲ ਕਰਨ ਬਾਰੇ ਇੱਕ ਈਮੇਲ ਭੇਜੀ ਸੀ।
ਅੱਜਕੱਲ੍ਹ, AI ਦਾ ਬਹੁਤ ਰੁਝਾਨ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਲੋਕ ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲਾਂ (large language models) ਲਈ ਭਾਰੀ ਫੀਸ ਅਦਾ ਕਰਦੇ ਹਨ। Copilot ਅਤੇ Anthropic ਵਰਗੀਆਂ ਕੰਪਨੀਆਂ ਅਕਸਰ ਆਪਣੇ ਲਾਇਸੈਂਸ ਬਦਲਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਖਰਚੇ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੇ ਜਾਂਦੇ ਹਨ।
ਮੈਂ ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ open source ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ। ਮੈਂ ਆਪਣੇ Apple Silicon Mac 'ਤੇ ਇੱਕ local AI stack ਬਣਾਇਆ ਹੈ।
ਮੈਂ Ollama ਦੀ ਬਜਾਏ oMLX ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ। ਇਹ Mac hardware 'ਤੇ ਬਿਹਤਰ ਕੰਮ ਕਰਦਾ ਹੈ। ਮੈਂ Hugging Face ਤੋਂ ਮਾਡਲ ਡਾਊਨਲੋਡ ਕਰਦਾ ਹਾਂ। ਮੈਂ mlx-community builds ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ। ਉਹ 4-bit quantized ਹਨ। ਇਸ ਨਾਲ 60GB ਦਾ ਮਾਡਲ 17GB ਦੀ ਡਿਸਕ ਸਪੇਸ ਵਿੱਚ ਆ ਜਾਂਦਾ ਹੈ।
ਮੈਂ oMLX ਨੂੰ ਹਮੇਸ਼ਾ ਇੱਕ Homebrew service ਵਜੋਂ ਚਲਾਉਂਦਾ ਰਹਿੰਦਾ ਹਾਂ। ਇਹ ਮੇਰੇ log in ਕਰਨ ਵੇਲੇ ਸ਼ੁਰੂ ਹੋ ਜਾਂਦਾ ਹੈ ਅਤੇ ਜੇਕਰ ਇਹ ਕ੍ਰੈਸ਼ ਹੋ ਜਾਵੇ ਤਾਂ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਹੋ ਜਾਂਦਾ ਹੈ।
ਮੈਂ ਇਸਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਸੈੱਟ ਕੀਤਾ ਹੈ:
• brew trust jundot/omlx • brew services start omlx
ਜੇਕਰ ਤੁਸੀਂ trust ਵਾਲਾ ਕਦਮ ਛੱਡ ਦਿੰਦੇ ਹੋ, ਤਾਂ Homebrew ਫੇਲ ਹੋ ਜਾਵੇਗਾ।
ਜਦੋਂ ਮੈਂ oMLX ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰ ਰਿਹਾ ਹੁੰਦਾ, ਤਾਂ ਇਹ idle ਰਹਿੰਦਾ ਹੈ। ਇਹ ਮੇਰੇ CPU ਅਤੇ GPU ਦੀ ਵਰਤੋਂ ਉਦੋਂ ਹੀ ਕਰਦਾ ਹੈ ਜਦੋਂ ਮੈਂ ਇਸਨੂੰ ਕਾਲ ਕਰਦਾ ਹਾਂ। ਮੈਂ ਇਸਨੂੰ ਆਪਣੇ ਟੂਲਜ਼ ਜਿਵੇਂ ਕਿ Zed editor ਜਾਂ opencode terminal ਨਾਲ ਜੋੜਦਾ ਹਾਂ।
ਮੇਰੀ ਮਸ਼ੀਨ 'ਤੇ ਮੈਨੂੰ ਮਿਲਣ ਵਾਲੀ ਰਫ਼ਤਾਰ ਇਹ ਹੈ:
- Gemma 4 (31B): 27 tokens/sec
- Qwen 3.6 (27B): 30 tokens/sec
- Nemotron (30B): 158 tokens/sec
Nemotron ਇੱਕ mixture-of-experts ਮਾਡਲ ਹੈ। ਇਹ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਚੱਲਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਹਰੇਕ token ਲਈ ਆਪਣੇ weights ਦਾ ਸਿਰਫ਼ ਇੱਕ ਛੋਟਾ ਹਿੱਸਾ ਹੀ ਵਰਤਦਾ ਹੈ।
Local ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਨਾਲ ਮੈਨੂੰ ਆਜ਼ਾਦੀ ਮਿਲਦੀ ਹੈ। ਮੈਂ scripts ਨੂੰ ਲੂਪ 'ਤੇ ਚਲਾ ਸਕਦਾ ਹਾਂ ਜਾਂ launchd ਨਾਲ ਕੰਮਾਂ ਨੂੰ ਸ਼ਡਿਊਲ ਕਰ ਸਕਦਾ ਹਾਂ। ਮੇਰੇ ਕੋਲ ਹਫ਼ਤਾਵਾਰੀ ਚੈੱਕਲਿਸਟਾਂ ਅਤੇ ਰੋਜ਼ਾਨਾ ਯੋਜਨਾਬੰਦੀ ਲਈ ਕੰਮ ਹਨ। ਮੈਂ API ਖਰਚਿਆਂ ਜਾਂ token ਸੀਮਾਵਾਂ ਬਾਰੇ ਚਿੰਤਾ ਕੀਤੇ ਬਿਨਾਂ ਰਾਤ ਭਰ ਭਾਰੀ ਕੰਮ ਚਲਾ ਸਕਦਾ ਹਾਂ।
ਮੈਂ VoiceInk ਅਤੇ Whisper ਦੀ ਵਰਤੋਂ ਵੀ local ਤੌਰ 'ਤੇ ਕਰਦਾ ਹਾਂ। ਇਹ ਮੈਨੂੰ ਤੀਜੀ ਧਿਰਾਂ (third parties) ਨੂੰ ਡਾਟਾ ਭੇਜੇ ਬਿਨਾਂ ਆਡੀਓ ਨੂੰ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
Apple Silicon hardware ਮਹਿੰਗਾ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹ ਤੁਹਾਨੂੰ ਆਪਣਾ ਖੁਦ ਦਾ AI ਚਲਾਉਣ ਲਈ ਉਸ ਸ਼ਕਤੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜਿਸ ਲਈ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਭੁਗਤਾਨ ਕਰ ਚੁੱਕੇ ਹੋ।
ਤੁਸੀਂ ਮੇਰਾ ਪੂਰਾ ਸੈੱਟਅੱਪ ਇੱਥੇ ਲੱਭ ਸਕਦੇ ਹੋ: github.com/kenahrens/mac-local-ai
ਸਰੋਤ: https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9
ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi