Neon Functions ondersteunen nu streamingverbindingen met een onbeperkte duur, waardoor AI-agents een live kanaal open kunnen houden voor seconden, minuten of langer zonder de timeout-limieten te raken die de meeste serverless-workloads beëindigen. Deze verandering is belangrijk voor iedereen die chat-achtige assistenten of tool-gebruikende bots bouwt, omdat een afgebroken stream een gesprek stagneert en de gebruikerservaring verpest.

Waarom serverless en AI-agents vaak met elkaar op gespannen voet stonden

De meeste serverless-platforms zijn gebouwd voor snelle "fire-and-forget"-taken. Ze hanteren strikte uitvoeringstermijnen — vaak 10 seconden in gratis pakketten en 60 seconden in betaalde plannen — om resources voorspelbaar te houden. Een AI-agent besteedt echter tijd aan nadenken, het aanroepen van externe tools en het uitgeven van tokens zodra deze worden gegenereerd. Die "nadenkfase" duurt vaak tientallen seconden, en de tokenstream kan doorgaan zolang het model output produceert. Wanneer de timer van het platform verloopt, wordt de verbinding verbroken en ziet de client een afgebroken stream.

Het antwoord van Neon: standaard langdurige streaming

Neon Functions draait het scenario om. Een functieaanroep kan onbeperkt open blijven staan en data leveren via WebSockets of Server-Sent Events (SSE) zonder speciale configuratie. Het platform behandelt een lange stream als een normale aanvraag, zodat ontwikkelaars de logica schrijven die de stream genereert en Neon de rest laat afhandelen.

In een recente test hebben twee endpoints dit gedrag aangetoond:

  • Heartbeat-endpoint – de functie gaf elke seconde een "tick" af gedurende 90 seconden. Typische serverless-niveaus zouden de aanvraag na 10 of 60 seconden hebben beëindigd; Neon hield de verbinding open totdat de functie uit zichzelf klaar was.
  • Token-relay-endpoint – de functie streamde tokens van een AI-model naar de client zodra elk token werd geproduceerd. Gebruikers zagen het antwoord woord voor woord verschijnen in plaats van te moeten wachten op het volledige tekstblok.

Beide voorbeelden vereisten slechts één enkele aanvraag van de client; er waren geen polling- of keep-alive-trucs nodig.

Wie profiteert ervan, en wie moet voorzichtig blijven

Teams die conversationele assistenten, tool-gebruikende agents of elke dienst bouwen die incrementele resultaten moet pushen, boeken een directe winst: de timeout verdwijnt. Het resultaat is eenvoudigere code, lagere latentie en een soepelere gebruikerservaring.

De afwegingen zijn wel het vermelden waard:

  • Request-only-model – Neon Functions handelt streams af die gekoppeld blijven aan een actieve aanvraag. Achtergrondtaken die langer moeten duren dan de aanvraag, hebben nog steeds een aparte scheduler nodig, zoals Inngest of een vergelijkbare workflow-engine.
  • Cold starts – Functies die inactief zijn, kunnen naar nul schalen, waardoor de volgende aanvraag een cold-start-vertraging kan hebben. Een actieve stream voorkomt het naar beneden schalen, maar de eerste aanvraag na inactiviteit betaalt nog steeds de opstartkosten.

Waar je op moet letten

De kern van het verhaal: Neon Functions verwijdert het timeout-plafond dat AI-ontwikkelaars al lang dwingt tot omwegen. Door een aanvraag open te laten staan zolang de agent nodig heeft om na te denken en te praten, maakt Neon het implementeren van streaming AI-agents net zo eenvoudig als elke andere serverless-functie.