𝗟𝗼𝗰𝗮𝗹 𝗖𝗼𝗱𝗶𝗻𝗴 𝗔𝗴𝗲𝗻𝘁 𝗼𝗻 𝗠𝗮𝗰𝗢𝗦
ਤੁਸੀਂ ਕਿਸੇ ਵੀ Apple Silicon Mac 'ਤੇ ਲੋਕਲ ਕੋਡਿੰਗ ਏਜੰਟ ਚਲਾ ਸਕਦੇ ਹੋ। ਇਹ ਸੈੱਟਅੱਪ ਤੁਹਾਡੇ ਕੋਡ ਨੂੰ ਨਿੱਜੀ ਰੱਖਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਆਪਣੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲਦਾ ਹੈ।
ਇਸ ਨੂੰ ਸੈੱਟਅੱਪ ਕਰਨ ਦਾ ਤਰੀਕਾ ਇੱਥੇ ਦਿੱਤਾ ਗਿਆ ਹੈ:
- ਡਿਪੈਂਡੈਂਸੀਆਂ (Dependencies) ਇੰਸਟਾਲ ਕਰੋ ਤੁਹਾਨੂੰ Python ਇੰਸਟਾਲ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। MLX ਲਾਇਬ੍ਰੇਰੀਆਂ ਇੰਸਟਾਲ ਕਰਨ ਲਈ ਇਹ ਕਮਾਂਡਾਂ ਚਲਾਓ:
pip install mlx mlx-lm mlx-vlm
ਜਾਂ uv ਦੀ ਵਰਤੋਂ ਕਰੋ:
uv tool install mlx-lm && uv tool install mlx-vlm
- ਇੱਕ ਮਾਡਲ ਚੁਣੋ Gemma, Llama, ਜਾਂ Qwen ਵਰਗੇ ਮਾਡਲਾਂ ਨੂੰ ਲੱਭਣ ਲਈ Hugging Face 'ਤੇ mlx-community ਦੀ ਵਰਤੋਂ ਕਰੋ। ਮਾਡਲ ਦੇ ਨਾਮ ਇੱਕ ਪੈਟਰਨ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ: {name}-{size}-{instruction tuned}-{precision}।
ਜੇਕਰ ਤੁਹਾਨੂੰ ਚੁਣਨ ਵਿੱਚ ਮੁਸ਼ਕਲ ਆ ਰਹੀ ਹੈ, ਤਾਂ ਮੇਰੇ ਦੁਆਰਾ MacOS ਲਈ ਬਣਾਏ ਗਏ ਇਸ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰੋ: https://github.com/ruarfff/help-pick-local-model
- ਲੋਕਲ ਸਰਵਰ ਸ਼ੁਰੂ ਕਰੋ ਆਪਣੇ ਚੁਣੇ ਹੋਏ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਰਵਰ ਚਲਾਓ। ਟਕਰਾਅ (conflicts) ਤੋਂ ਬਚਣ ਲਈ ਮੈਂ ਪੋਰਟ 7777 ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ।
mlx_lm.server --model mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit --port 7777
ਉਹਨਾਂ ਮਾਡਲਾਂ ਲਈ ਜੋ ਚਿੱਤਰ (images) ਅਤੇ ਟੈਕਸਟ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ, ਇਸ ਦੀ ਬਜਾਏ mlx_vlm ਦੀ ਵਰਤੋਂ ਕਰੋ:
mlx_vlm.server --model mlx-community/gemma-4-12B-it-OptiQ-4bit --port 7777
- ਆਪਣੇ ਟੂਲਸ ਨੂੰ ਕਨੈਕਟ ਕਰੋ ਆਪਣੇ ਕੋਡਿੰਗ ਏਜੰਟ ਨੂੰ ਆਪਣੇ ਲੋਕਲ ਸਰਵਰ ਵੱਲ ਪੁਆਇੰਟ (point) ਕਰੋ।
GitHub Copilot CLI ਲਈ: ਪ੍ਰੋਵਾਈਡਰ ਨੂੰ OpenAI ਅਤੇ ਬੇਸ URL ਨੂੰ http://127.0.0.1:7777/v1 'ਤੇ ਸੈੱਟ ਕਰਨ ਲਈ ਆਪਣੀ .zshrc ਜਾਂ .bashrc ਵਿੱਚ ਇੱਕ ਸ਼ੈੱਲ ਫੰਕਸ਼ਨ (shell function) ਬਣਾਓ।
OpenCode ਲਈ: ਆਪਣੀ ~/.config/opencode/opencode.json ਫਾਈਲ ਨੂੰ ਅਪਡੇਟ ਕਰੋ ਤਾਂ ਜੋ ਤੁਹਾਡੇ ਲੋਕਲ MLX ਪ੍ਰੋਵਾਈਡਰ ਅਤੇ ਮਾਡਲ ਦੇ ਵੇਰਵੇ ਸ਼ਾਮਲ ਕੀਤੇ ਜਾ ਸਕਣ।
Pi ਲਈ: ਆਪਣੀ ~/.pi/agent/models.json ਫਾਈਲ ਨੂੰ ਲੋਕਲ ਪ੍ਰੋਵਾਈਡਰ ਕੌਂਫਿਗਰੇਸ਼ਨ ਨਾਲ ਅਪਡੇਟ ਕਰੋ।
ਮਾਡਲਾਂ ਨੂੰ ਲੋਕਲ ਚਲਾਉਣ ਨਾਲ ਤੁਹਾਨੂੰ ਆਪਣੇ ਡਿਵੈਲਪਮੈਂਟ ਵਾਤਾਵਰਣ (development environment) 'ਤੇ ਕੰਟਰੋਲ ਮਿਲਦਾ ਹੈ।
ਸਰੋਤ (Source): https://dev.to/ruarfff/local-coding-agent-on-macos-2gga
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi