Mac Mini પર લોકલ કોડિંગ એજન્ટ ચલાવવો

હું ઓછા જોખમવાળા કાર્યો માટે લોકલ કોડિંગ એજન્ટનો ઉપયોગ કરું છું. તે ફાઇલ એડિટ્સ, ટેસ્ટ ફિક્સ અને બિલ્ડ વેરિફિકેશન સંભાળે છે. તે Playwright ટેસ્ટ પણ લખે છે, કોડ રિવ્યૂ કરે છે અને ડિપ્લોય (deploys) ચલાવે છે.

આ સેટઅપ 24 GB RAM ધરાવતા Mac Mini M4 પર ચાલે છે. હું કોડિંગ કામ માટે ક્લાઉડ APIs નો ઉપયોગ કરતો નથી. હું પ્લાનિંગ અને રૂટિંગ માટે માત્ર એક સસ્તું ક્લાઉડ મોડેલ વાપરું છું. Pi નામનો કોડિંગ એજન્ટ વાસ્તવિક ફાઇલ એડિટિંગ સંભાળે છે. તે oMLX સાથે જોડાયેલ છે, જે એક લોકલ LLM સર્વર છે.

આ સેટઅપ કોઈપણ એજન્ટ સાથે કામ કરે છે જે OpenAI-સુસંગત API નો ઉપયોગ કરે છે. તમે આ જ oMLX સર્વર સાથે Claude Code અથવા Codex નો ઉપયોગ કરી શકો છો.

હું બે મોડેલ્સનો ઉપયોગ કરું છું અને કાર્યના આધારે તેને બદલતો (swap) રહું છું. 24 GB RAM ની મર્યાદા મને બંનેને એકસાથે ચલાવતા અટકાવે છે.

  • પ્રાઇમરી કોડિંગ મોડેલ: 20 tokens પ્રતિ સેકન્ડ સાથે 9B ક્લાસ.
  • ફાસ્ટ મોડેલ: ઝડપી ફિક્સ માટે 27 tokens પ્રતિ સેકન્ડ સાથે 4B ક્લાસ.

એક સ્વેપ સ્ક્રિપ્ટ એક મોડેલને બહાર કાઢે છે અને બીજાને અંદર લાવે છે. આ પ્રક્રિયામાં 5 સેકન્ડ લાગે છે.

એજન્ટ આ કાર્યો કરે છે:

  • ફાઇલ એડિટ્સ અને રિફેક્ટરિંગ (refactoring)
  • ટેસ્ટ લખવા અને સુધારવા
  • બિલ્ડ વેરિફિકેશન
  • કોડ રિવ્યૂ
  • ડોક્યુમેન્ટેશન અપડેટ્સ
  • ડિપ્લોય ચલાવવા

હું એક લાઇનના કોડ કરતાં વધુ જટિલ કોઈપણ વસ્તુ માટે RPC મોડનો ઉપયોગ કરું છું. ઓર્કેસ્ટ્રેશન લેયર (orchestration layer) એક પ્રોમ્પ્ટ લખે છે અને Pi તેને એક્ઝિક્યુટ કરે છે.

હું પર્ફોર્મન્સ સુધારવા માટે આ સાધનોનો ઉપયોગ કરું છું:

  • pix-optimizer: ટોકન્સ કોમ્પ્રેસ કરે છે અને બૉઇલરપ્લેટ (boilerplate) દૂર કરે છે.
  • context-mode: વર્કસ્પેસ કાર્યોને રૂટ કરે છે અને ટૂલ કોલ્સનું સંચાલન કરે છે.
  • pi-subagents: કાર્યોને સમાંતર (parallel) ચલાવે છે.
  • pi-workflow-engine: મલ્ટી-સ્ટેપ ટાસ્ક સિક્વન્સને હેન્ડલ કરે છે.
  • pi-mcp-adapter: MCP દ્વારા બાહ્ય સાધનો સાથે જોડે છે.

આ સેટઅપ માટે મહત્વના નિયમો:

  • મેમરી એરર ટાળવા માટે એક સમયે માત્ર એક જ મોડેલ લોડ કરો.
  • ઝડપ જાળવી રાખવા માટે thinking mode ડિસેબલ કરો.
  • પ્રોમ્પ્ટમાં સંપૂર્ણ ચેટ હિસ્ટ્રી મોકલશો નહીં, નહીંતર મોડેલ ક્રેશ થઈ જશે.
  • સેફ્ટી કંટ્રોલ્સને સ્કીપ કરવા માટે નોન-ટ્રિવિયલ (non-trivial) કાર્યો માટે RPC મોડનો ઉપયોગ કરો.
  • જો મોડેલ સ્વેપ પછી પહેલી વિનંતી ટાઈમ આઉટ થાય, તો તેને ફરીથી પ્રયાસ કરો.

સેટઅપ સ્ક્રિપ્ટ: curl -fsSL https://workswithagents.dev/static/setup-local-llm-pi.sh | sh

સ્ત્રોત: https://dev.to/vystartasv/running-a-local-coding-agent-on-a-mac-mini-the-actual-setup-47bo

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi