Een LLM-agent draaien in je browser

De meeste AI-assistenten draaien in een datacenter. Ze hebben een API-sleutel en een server nodig, en ze rekenen kosten per verzoek.

Ik heb iets anders gebouwd.

Ik heb LiquidAI LFM2.5-modellen (230M en 350M) gefinetuned om volledig in je browser te draaien — zonder server, zonder cloudkosten.

Het doel was om een model klein genoeg te maken om mee te leveren met een webpagina.

Het model slaat geen feiten op over specifieke producten; het leert patronen. Eén klein model kan een koffiebar, een supermarkt of een andere winkel runnen zonder opnieuw getraind te hoeven worden.

Wat het model doet

  • Kiest het juiste hulpmiddel voor een taak
  • Koppelt argumenten en item-ID's correct
  • Begrijpt verwijzingen zoals "de tweede" of "een dozijn"
  • Gebruikt opgehaalde tekst om vragen te beantwoorden

Wat je nu kunt verwachten

De codebase (https://github.com/lajosbencz/frontend-agent) is open en nodigt de community uit om tools toe te voegen, synthetische recepten uit te breiden of hybride benaderingen te proberen.

Kernpunt: Het fine-tunen van een LLM van bescheiden omvang tot een zelfstandige agent maakt het mogelijk om functionele, privacyvriendelijke AI direct in een webpagina te integreren — zonder servers, zonder kosten en zonder dat gegevens het apparaat van de gebruiker verlaten.