𝗠𝗮𝗰 𝗠𝗶𝗻𝗶 𝗽𝗮𝗿 𝗟𝗼𝗰𝗮𝗹 𝗖𝗼𝗱𝗶𝗻𝗴 𝗔𝗴𝗲𝗻𝘁 𝗰𝗵𝗮𝗹𝗮𝘃𝗮𝗻𝗲
मी कमी जोखमीच्या (low-stakes) कामांसाठी लोकल कोडिंग एजंट वापरतो. तो फाईल एडिटिंग, टेस्ट फिक्स आणि बिल्ड व्हेरिफिकेशन हाताळतो. तो Playwright टेस्ट्स लिहिणे, कोड रिव्ह्यू करणे आणि डिप्लॉयमेंट (deploys) करणे ही कामे देखील करतो.
हे सेटअप 24 GB RAM असलेल्या Mac Mini M4 वर चालतो. मी कोडिंग कामासाठी क्लाउड APIs वापरत नाही. मी फक्त प्लॅनिंग आणि राउटिंगसाठी स्वस्त क्लाउड मॉडेल वापरतो. Pi नावाचा कोडिंग एजंट प्रत्यक्ष फाईल एडिटिंग करतो. तो oMLX शी कनेक्ट होतो, जो एक लोकल LLM सर्व्हर आहे.
हा सेटअप OpenAI-सुसंगत (compatible) API वापरणाऱ्या कोणत्याही एजंटसोबत काम करतो. तुम्ही याच oMLX सर्व्हरसोबत Claude Code किंवा Codex वापरू शकता.
मी दोन मॉडेल्स वापरतो आणि कामाच्या स्वरूपानुसार ते बदलत (swap) असतो. 24 GB RAM च्या मर्यादेमुळे मी दोन्ही मॉडेल्स एकाच वेळी चालवू शकत नाही.
- मुख्य कोडिंग मॉडेल: 20 tokens प्रति सेकंद वेगाने 9B क्लास मॉडेल.
- फास्ट मॉडेल: जलद दुरुस्तीसाठी (quick fixes) 27 tokens प्रति सेकंद वेगाने 4B क्लास मॉडेल.
एक स्वॅप स्क्रिप्ट एक मॉडेल बाहेर काढते आणि दुसरे मॉडेल लोड करते. या प्रक्रियेला 5 सेकंद लागतात.
एजंट खालील कामे करतो:
- फाईल एडिटिंग आणि रिफॅक्टरिंग (refactoring)
- टेस्ट लिहिणे आणि दुरुस्त करणे
- बिल्ड व्हेरिफिकेशन
- कोड रिव्ह्यू
- डॉक्युमेंटेशन अपडेट्स
- डिप्लॉयमेंट चालवणे
एका ओळीपेक्षा जास्त क्लिष्ट कामांसाठी मी RPC मोड वापरतो. ऑर्केस्ट्रेशन लेयर (orchestration layer) प्रॉम्प्ट लिहितो आणि Pi तो कार्यान्वित करतो.
परफॉर्मन्स सुधारण्यासाठी मी ही टूल्स वापरतो:
- pix-optimizer: टोकन्स कॉम्प्रेस करते आणि बॉयलरप्लेट (boilerplate) काढून टाकते.
- context-mode: वर्कस्पेस टास्क राउट करते आणि टूल कॉल्स मॅनेज करते.
- pi-subagents: टास्क समांतर (parallel) पद्धतीने चालवते.
- pi-workflow-engine: मल्टी-स्टेप टास्क सिक्वेन्स हाताळते.
- pi-mcp-adapter: MCP द्वारे बाह्य टूल्सशी कनेक्ट करते.
या सेटअपसाठी महत्त्वाचे नियम:
- मेमरी एरर टाळण्यासाठी एका वेळी फक्त एकच मॉडेल लोड करा.
- वेग कायम राखण्यासाठी 'thinking mode' बंद करा.
- प्रॉम्प्टमध्ये पूर्ण चॅट हिस्ट्री पाठवू नका, अन्यथा मॉडेल क्रॅश होईल.
- सेफ्टी कंट्रोल्स वगळण्यासाठी क्लिष्ट (non-trivial) कामांसाठी RPC मोड वापरा.
- मॉडेल स्वॅप केल्यानंतर जर पहिली विनंती (request) टाइम आउट झाली, तर ती पुन्हा प्रयत्न करा.
सेटअप स्क्रिप्ट:
curl -fsSL https://workswithagents.dev/static/setup-local-llm-pi.sh | sh
स्रोत: https://dev.to/vystartasv/running-a-local-coding-agent-on-a-mac-mini-the-actual-setup-47bo
ऐच्छिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi