Neon Functions sasa zinaunga mkono miunganisho ya streaming yenye muda usio na kikomo, ikiruhusu AI agents kuweka chaneli hai kwa sekunde, dakika, au zaidi bila kukumbana na mipaka ya muda (timeout) inayozima kazi nyingi za serverless. Mabadiliko haya ni muhimu kwa yeyote anayeunda wasaidizi wa aina ya mazungumzo au bot zinazotumia zana, kwa sababu mtiririko (stream) uliokatika unazuia mazungumzo na kuharibu uzoefu wa mtumiaji.

Kwa nini mifumo ya serverless na AI agents imekuwa na mgongano

Majukwaa mengi ya serverless yameundwa kwa ajili ya kazi za haraka za "tuma na usahau" (fire-and-forget). Yanadhibiti vikwazo vikali vya utekelezaji—mara nyingi sekunde 10 kwenye vipengele vya bure na sekunde 60 kwenye mipango ya kulipia—ili kuweka rasilimali zinazotabirika. Hata hivyo, AI agent hutumia muda kufikiri, kuitia wito zana za nje, na kutoa tokeni zinapotengenezwa. Hatua hiyo ya "kufikiri" mara nyingi huchukua hadi sekunde kadhaa, na mtiririko wa tokeni unaweza kuendelea mradi tu modeli inazalisha matokeo. Wakati kipima muda wa jukwaa kinapofika mwisho, kinafunga muunganisho na mteja huona mtiririko uliokatika.

Jibu la Neon: streaming ya muda mrefu kwa kiasili

Neon Functions inabadilisha mchezo. Wito wa function unaweza kubaki wazi bila kikomo, ukitoa data kupitia WebSockets au Server-Sent Events (SSE) bila usanidi wowote maalum. Jukwaa hili linachukulia mtiririko mrefu kama ombi la kawaida, hivyo watengenezaji huandika mantiki inayozalisha mtiririko na kuacha Neon ishughulikie mengine yote.

Katika jaribio la hivi karibuni, endpoint mbili zilidhihirisha tabia hiyo:

  • Endpoint ya Heartbeat – function ilitoa "tick" mara moja kwa sekunde kwa sekunde 90. Vipengele vya kawaida vya serverless vingalikuwa vimefuta ombi baada ya sekunde 10 au 60; Neon iliweka muunganisho hai hadi function ilipomaliza yenyewe.
  • Endpoint ya Token-relay – function ilisambaza tokeni kutoka kwa modeli ya AI kwenda kwa mteja mara tu tokeni kila moja ilipotengenezwa. Watumiaji waliona jibu likitokea neno kwa neno badala ya kusubiri kizuizi kizima cha maandishi.

Mifano yote miwili ilihitaji ombi moja tu kutoka kwa mteja; hakukuwa na haja ya polling au mbinu za keep-alive.

Nani anafaidika, na nani anapaswa kuwa mwangalifu

Timu zinazounda wasaidizi wa mazungumzo, wakala wanaotumia zana, au huduma yoyote inayohitaji kutoa matokeo ya hatua kwa hatua zinapata faida ya haraka: kikwazo cha muda (timeout) kinaondoka. Matokeo yake ni kodi rahisi zaidi, ucheleweshaji mdogo (lower latency), na uzoefu mzuri zaidi wa mtumiaji.

Mambo ya kuzingatia ni:

  • Mfumo wa ombi-pekee (Request-only model) – Neon Functions inashughulikia mtiririko inayobaki imeunganishwa kwenye ombi linalofanya kazi. Kazi za nyuma (background jobs) ambazo lazima ziendelee baada ya ombi kukamilika bado zinahitaji ratiba tofauti kama Inngest au injini ya mtiririko (workflow engine) inayofanana na hiyo.
  • Cold starts – Functions ambazo hazitumiki zinaweza kupungua hadi sifuri, hivyo ombi linalofuata linaweza kukumbana na ucheleweshaji wa cold-start. Mtiririko unaofanya kazi unazuia kupungua kwa rasilimali, lakini ombi la kwanza baada ya kutotumika bado litalipa gharama ya kuanza.

Nini cha kufuatilia baadaye

Hitimisho: Neon Functions inaondoa kikomo cha muda ambacho kwa muda mrefu kimewalazimu watengenezaji wa AI kutumia mbinu mbadala. Kwa kuruhusu ombi kubaki wazi kwa muda wowote ambao wakala unahitaji kufikiri na kuzungumza, Neon inafanya kuweka AI agents kwenye mtiririko kuwa rahisi kama kuweka function nyingine yoyote ya serverless.