𝗟𝗼𝗰𝗮𝗹 𝗖𝗼𝗱𝗶𝗻𝗴 𝗔𝗴𝗲𝗻𝘁 𝗼𝗻 𝗠𝗮𝗰𝗢𝗦

మీరు ఏవైనా Apple Silicon Mac లలో లోకల్ కోడింగ్ ఏజెంట్‌ను రన్ చేయవచ్చు. ఈ సెటప్ మీ కోడ్‌ను ప్రైవేట్‌గా ఉంచుతుంది మరియు మీ స్వంత హార్డ్‌వేర్‌పై నడుస్తుంది.

దీన్ని సెటప్ చేసే విధానం ఇక్కడ ఉంది:

  1. డిపెండెన్సీలను ఇన్‌స్టాల్ చేయండి (Install Dependencies) మీకు Python ఇన్‌స్టాల్ అయి ఉండాలి. MLX లైబ్రరీలను ఇన్‌స్టాల్ చేయడానికి ఈ కమాండ్లను రన్ చేయండి:

pip install mlx mlx-lm mlx-vlm

లేదా uv ఉపయోగించండి:

uv tool install mlx-lm && uv tool install mlx-vlm

  1. మోడల్‌ను ఎంచుకోండి (Pick a Model) Gemma, Llama, లేదా Qwen వంటి మోడల్‌లను కనుగొనడానికి Hugging Face లోని mlx-community ని ఉపయోగించండి. మోడల్ పేర్లు ఈ ప్యాటర్న్‌ను అనుసరిస్తాయి: {name}-{size}-{instruction tuned}-{precision}.

ఒకవేళ మీరు ఎంచుకోవడంలో ఇబ్బంది పడుతుంటే, MacOS కోసం నేను రూపొందించిన ఈ టూల్‌ను ఉపయోగించండి: https://github.com/ruarfff/help-pick-local-model

  1. లోకల్ సర్వర్‌ను ప్రారంభించండి (Start the Local Server) మీరు ఎంచుకున్న మోడల్‌ని ఉపయోగించి సర్వర్‌ను రన్ చేయండి. కాన్ఫ్లిక్ట్‌లను నివారించడానికి నేను పోర్ట్ 7777ని ఉపయోగిస్తాను.

mlx_lm.server --model mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit --port 7777

ఇమేజ్‌లు మరియు టెక్స్ట్‌లను హ్యాండిల్ చేసే మోడల్‌ల కోసం, దానికి బదులుగా mlx_vlm ని ఉపయోగించండి:

mlx_vlm.server --model mlx-community/gemma-4-12B-it-OptiQ-4bit --port 7777

  1. మీ టూల్స్‌ను కనెక్ట్ చేయండి (Connect Your Tools) మీ కోడింగ్ ఏజెంట్‌ను మీ లోకల్ సర్వర్‌కు పాయింట్ చేయండి.

GitHub Copilot CLI కోసం: ప్రొవైడర్‌ను OpenAI కి మరియు బేస్ URL ని http://127.0.0.1:7777/v1 కి సెట్ చేయడానికి మీ .zshrc లేదా .bashrc లో ఒక షెల్ ఫంక్షన్‌ను సృష్టించండి.

OpenCode కోసం: మీ లోకల్ MLX ప్రొవైడర్ మరియు మోడల్ వివరాలను చేర్చడానికి మీ ~/.config/opencode/opencode.json ఫైల్‌ను అప్‌డేట్ చేయండి.

Pi కోసం: లోకల్ ప్రొవైడర్ కాన్ఫిగరేషన్‌తో మీ ~/.pi/agent/models.json ఫైల్‌ను అప్‌డేట్ చేయండి.

మోడల్‌లను లోకల్‌గా రన్ చేయడం వల్ల మీ డెవలప్‌మెంట్ ఎన్విరాన్‌మెంట్‌పై మీకు నియంత్రణ లభిస్తుంది.

Source: https://dev.to/ruarfff/local-coding-agent-on-macos-2gga

Optional learning community: https://t.me/GyaanSetuAi