Een lokale coding agent draaien op een Mac Mini

Ik gebruik een lokale coding agent voor taken met een laag risico. Het verzorgt bestandswijzigingen, het repareren van tests en build-verificatie. Het schrijft ook Playwright-tests, voert code reviews uit en voert deploys uit.

De setup draait op een Mac Mini M4 met 24 GB RAM. Ik gebruik geen cloud-API's voor het programmeerwerk. Ik gebruik alleen een goedkoop cloud-model voor planning en routing. Een coding agent genaamd Pi verzorgt de eigenlijke bestandswijzigingen. Deze maakt verbinding met oMLX, wat een lokale LLM-server is.

Deze setup werkt met elke agent die een OpenAI-compatibele API gebruikt. Je kunt Claude Code of Codex gebruiken met dezelfde oMLX-server.

Ik gebruik twee modellen en wissel ze af op basis van de taak. De limiet van 24 GB RAM voorkomt dat ik ze tegelijkertijd kan draaien.

  • Primair coding-model: 9B-klasse met 20 tokens per seconde.
  • Snel model: 4B-klasse met 27 tokens per seconde voor snelle fixes.

Een swap-script verwijdert het ene model en laadt het andere model in. Dit proces duurt 5 seconden.

De agent voert deze taken uit:

  • Bestandswijzigingen en refactoring
  • Schrijven en repareren van tests
  • Build-verificatie
  • Code reviews
  • Documentatie-updates
  • Het uitvoeren van deploys

Ik gebruik de RPC-modus voor alles wat complexer is dan een enkele regel code. De orchestratielaag schrijft een prompt en Pi voert deze uit.

Ik gebruik deze tools om de prestaties te verbeteren:

  • pix-optimizer: Comprimeert tokens en verwijdert boilerplate.
  • context-mode: Routeert workspace-taken en beheert tool-aanroepen.
  • pi-subagents: Voert taken parallel uit.
  • pi-workflow-engine: Beheert takenreeksen met meerdere stappen.
  • pi-mcp-adapter: Maakt verbinding met externe tools via MCP.

Belangrijke regels voor deze setup:

  • Laad slechts één model tegelijk om geheugenfouten te voorkomen.
  • Schakel 'thinking mode' uit om de snelheid te behouden.
  • Stuur geen volledige chatgeschiedenis mee in prompts, anders crasht het model.
  • Gebruik de RPC-modus voor niet-triviale taken om veiligheidscontroles over te slaan.
  • Probeer de eerste aanvraag opnieuw na een modelwissel als deze een timeout geeft.

Setup-script: curl -fsSL https://workswithagents.dev/static/setup-local-llm-pi.sh | sh

Bron: https://dev.to/vystartasv/running-a-local-coding-agent-on-a-mac-mini-the-actual-setup-47bo

Optionele leercommunity: https://t.me/GyaanSetuAi