Het experiment van een solo-ontwikkelaar met drie Claude-modellen verlaagde de maandelijkse API-kosten met 35% en bracht de mediane taaklatentie terug van 42 naar 27 seconden. Door eenvoudige taken met weinig ambiguïteit naar het goedkope Haiku-model te sturen, routinematig werk naar Sonnet te leiden en het zware Opus-model te reserveren voor kritieke problemen, bewees de auteur dat "het beste model voor alles" een kostbare gewoonte is.

Waarom de routing belangrijk was

De auteur beheert een autonome coding agent die een constante stroom van ontwikkelingstaken ontvangt—lint-fixes, het toevoegen van functies, security reviews en diepgaande debugging-sessies. Maandenlang stuurde de agent elke aanvraag naar Opus, het meest capabele Claude-model, in de veronderstelling dat een hogere kwaliteit altijd zwaarder zou wegen dan de prijs. Opus heeft een premium prijs per token, waardoor de rekening ongecontroleerd opliep.

Toen de auteur een gelaagd routing-schema introduceerde, daalden de kosten naar 65% van het oorspronkelijke niveau en zakte het gebruik van Opus naar 11% van het totaal aantal taken.

Hoe het drielaagse systeem werkt

De routing-logica is gebaseerd op ambiguïteit, niet op het aantal regels code dat een taak raakt. De auteur definieerde drie categorieën:

  • Haiku – taken met weinig ambiguïteit en een deterministisch karakter. Voorbeelden: lint-waarschuwingen oplossen, variabelen hernoemen, logbestanden samenvatten. Het juiste antwoord is meestal een enkele regel code of tekst.
  • Sonnet – het standaard werkpaard. Verwerkt de implementatie van functies, routinematige bugfixes en standaard refactors waarbij het probleem duidelijk is, maar de oplossing uit meerdere stappen kan bestaan.
  • Opus – werk met een hoge inzet en veel ambiguïteit. Architectuurkeuzes, security audits, complexe debugging-sessies, of elke taak waarbij het juiste pad onduidelijk is en een fout de pipeline kan verstoren.

Een statische tabel koppelt elke inkomende aanvraag aan het juiste model op basis van deze regels. De auteur probeerde een "slim" model dat het niveau on the fly zou bepalen, maar het extra tokenverbruik maakte alle besparingen teniet. Eenvoudige statische regels dekten ongeveer 80% van de werklast en hielden het systeem goedkoop en voorspelbaar.

Het escalatie-veiligheidsnet

Goedkope modellen maken nog steeds fouten. Om te voorkomen dat een foutief antwoord van Haiku of Sonnet de build verstoort, escaleert het systeem een aanvraag na twee mislukkingen door deze naar het volgende niveau te verplaatsen. Dit veiligheidsnet vangt fouten vroegtijdig op en zorgt ervoor dat de pipeline soepel blijft draaien zonder handmatige tussenkomst.

Cijfers die voor zich spreken

Na vier weken draaien van de gelaagde router logde de auteur de volgende wijzigingen:

  • API-uitgaven daalden naar 65% van de oorspronkelijke kosten (een reductie van 35%).
  • Mediane doorlooptijd daalde van 42 naar 27 seconden.
  • Opus-gebruik kromp van het verwerken van elke aanvraag naar slechts 11% van het totaal aantal taken.

Deze cijfers laten zien dat het meeste ontwikkelwerk kan worden gedelegeerd aan goedkopere modellen zonder een merkbare daling in kwaliteit, terwijl de moeilijkste problemen nog steeds profiteren van het grotere contextvenster van Opus.

Lessen voor andere ontwikkelaars

  1. Begin laag, niet hoog. De meeste dagelijkse programmeertaken hebben niet het krachtigste model nodig. Sonnet de standaard maken voor ambigue taken leverde meer besparing op dan alles via Haiku laten lopen.
  2. Meet moeilijkheidsgraad, niet omvang. Een race-condition fix van één regel kan moeilijker zijn dan het refactoren van een heel bestand. Routeer op basis van hoe ambigu de oplossing is, niet op basis van het aantal gewijzigde regels.
  3. Houd de escalatiesnelheid in de gaten. Een stijgend aantal escalaties is een signaal dat de statische regels niet langer overeenkomen met de werklast. Pas de categorieën aan voordat goedkope modellen meer pipeline-fouten gaan veroorzaken.

Door het duurste model te reserveren voor de moeilijkste problemen en de rest aan goedkopere modellen over te laten, blijft AI-ondersteunde ontwikkeling snel en betaalbaar. Het echte voordeel ligt in een gedisciplineerde routingstrategie die het juiste gereedschap bij de juiste taak plaatst.