Neon Functions ఇప్పుడు అపరిమిత కాలపరిమితి కలిగిన స్ట్రీమింగ్ కనెక్షన్‌లను సపోర్ట్ చేస్తోంది, దీనివల్ల AI ఏజెంట్లు సెకన్లు, నిమిషాలు లేదా అంతకంటే ఎక్కువ సమయం పాటు లైవ్ ఛానెల్‌ను తెరిచి ఉంచవచ్చు. ఇది చాలా సర్వర్‌లెస్ వర్క్‌లోడ్‌లను నిలిపివేసే టైమ్-అవుట్ పరిమితులను ఎదుర్కోదు. చాట్-శైలి అసిస్టెంట్‌లు లేదా టూల్-ఉపయోగించే బాట్‌లను నిర్మించే ఎవరికైనా ఈ మార్పు చాలా ముఖ్యం, ఎందుకంటే స్ట్రీమ్ విచ్ఛిన్నమైతే సంభాషణ ఆగిపోతుంది మరియు యూజర్ అనుభవం దెబ్బతింటుంది.

సర్వర్‌లెస్ మరియు AI ఏజెంట్ల మధ్య ఎందుకు విభేదాలు ఉన్నాయి

చాలా సర్వర్‌లెస్ ప్లాట్‌ఫారమ్‌లు త్వరితగతిన పూర్తయ్యే (fire-and-forget) పనుల కోసం రూపొందించబడ్డాయి. వనరులను అంచనా వేయగలిగేలా ఉంచడానికి అవి కఠినమైన ఎగ్జిక్యూషన్ పరిమితులను (execution caps) విధిస్తాయి—తరచుగా ఉచిత ప్లాన్‌లలో 10 సెకన్లు మరియు పెయిడ్ ప్లాన్‌లలో 60 సెకన్లు. అయితే, ఒక AI ఏజెంట్ ఆలోచించడానికి, బాహ్య టూల్స్‌ను పిలవడానికి మరియు టోకెన్‌లను ఉత్పత్తి చేయడానికి సమయాన్ని తీసుకుంటుంది. ఆ "ఆలోచించే" దశ తరచుగా పదుల సెకన్ల వరకు సాగుతుంది మరియు మోడల్ అవుట్‌పుట్‌ను ఉత్పత్తి చేసేంత కాలం టోకెన్ స్ట్రీమ్ కొనసాగవచ్చు. ప్లాట్‌ఫారమ్ టైమర్ ముగిసినప్పుడు, అది కనెక్షన్‌ను మూసివేస్తుంది మరియు క్లయింట్‌కు స్ట్రీమ్ విచ్ఛిన్నమైనట్లు కనిపిస్తుంది.

Neon ఇచ్చే పరిష్కారం: డిఫాల్ట్‌గా లాంగ్-లివ్డ్ స్ట్రీమింగ్

Neon Functions ఈ పరిస్థితిని పూర్తిగా మారుస్తుంది. ఎటువంటి ప్రత్యేక కాన్ఫిగరేషన్ లేకుండానే, WebSockets లేదా Server-Sent Events (SSE) ద్వారా డేటాను అందిస్తూ, ఒక ఫంక్షన్ కాల్ అపరిమితంగా తెరిచి ఉండవచ్చు. ప్లాట్‌ఫారమ్ ఒక సుదీర్ఘ స్ట్రీమ్‌ను సాధారణ రిక్వెస్ట్‌గా పరిగణిస్తుంది, కాబట్టి డెవలపర్‌లు స్ట్రీమ్‌ను రూపొందించే లాజిక్‌ను రాసి, మిగిలిన అంశాలను Neon చూసుకునేలా వదిలేయవచ్చు.

ఇటీవలి పరీక్షలో, రెండు ఎండ్‌పాయింట్లు ఈ ప్రవర్తనను నిరూపించాయి:

  • Heartbeat endpoint – ఈ ఫంక్షన్ 90 సెకన్ల పాటు ప్రతి సెకనుకు ఒకసారి “tick”ను విడుదల చేసింది. సాధారణ సర్వర్‌లెస్ ప్లాన్‌లు 10 లేదా 60 సెకన్ల తర్వాత రిక్వెస్ట్‌ను ముగించేవి; కానీ Neon ఫంక్షన్ తనంతట తానుగా పూర్తయ్యే వరకు కనెక్షన్‌ను అలాగే ఉంచింది.
  • Token-relay endpoint – ప్రతి టోకెన్ ఉత్పత్తి అయిన వెంటనే ఫంక్షన్ AI మోడల్ నుండి క్లయింట్‌కు టోకెన్‌లను స్ట్రీమ్ చేసింది. వినియోగదారులు మొత్తం టెక్స్ట్ బ్లాక్ కోసం వేచి ఉండకుండా, సమాధానం పదం పదం కనిపించడాన్ని చూశారు.

ఈ రెండు ఉదాహరణలకు క్లయింట్ నుండి కేవలం ఒకే ఒక్క రిక్వెస్ట్ అవసరమైంది; ఎటువంటి పోలింగ్ (polling) లేదా కీప్-అలైవ్ (keep-alive) ట్రిక్స్ అవసరం లేదు.

ఎవరికి ప్రయోజనం, ఎవరు జాగ్రత్తగా ఉండాలి

సంభాషణాత్మక అసిస్టెంట్‌లు, టూల్-ఉపయోగించే ఏజెంట్లు లేదా క్రమబద్ధమైన ఫలితాలను (incremental results) పంపాల్సిన ఏవైనా సేవలను నిర్మించే బృందాలకు ఇది తక్షణ విజయం: టైమ్-అవుట్ సమస్య మాయమవుతుంది. దీని ఫలితంగా సరళమైన కోడ్, తక్కువ లాటెన్సీ మరియు మెరుగైన యూజర్ అనుభవం లభిస్తాయి.

పరిమితులను (trade-offs) గమనించడం ముఖ్యం:

  • Request-only model – Neon Functions యాక్టివ్ రిక్వెస్ట్‌కు అనుసంధానించబడిన స్ట్రీమ్‌లను మాత్రమే హ్యాండిల్ చేస్తుంది. రిక్వెస్ట్ ముగిసిన తర్వాత కూడా కొనసాగాల్సిన బ్యాక్‌గ్రౌండ్ జాబ్స్ కోసం Inngest లేదా ఇటువంటి వర్క్‌ఫ్లో ఇంజిన్ వంటి ప్రత్యేక షెడ్యూలర్ అవసరమవుతుంది.
  • Cold starts – ఖాళీగా ఉన్న ఫంక్షన్‌లు స్కేల్-టు-జీరో (scale to zero) కావచ్చు, కాబట్టి తదుపరి రిక్వెస్ట్‌కు కోల్డ్-స్టార్ట్ ఆలస్యం జరగవచ్చు. యాక్టివ్ స్ట్రీమ్ స్కేలింగ్ డౌన్ అవ్వకుండా నిరోధిస్తుంది, కానీ నిష్క్రియాత్మకత (inactivity) తర్వాత వచ్చే మొదటి రిక్వెస్ట్ మాత్రం స్టార్ట్-అప్ ఖర్చును భరించాల్సి ఉంటుంది.

తదుపరి ఏమి చూడాలి

ముగింపు ఏమిటంటే: AI డెవలపర్‌లను ఎప్పటి నుంచో వర్క్‌అరౌండ్‌ల వైపు నెట్టేస్తున్న టైమ్-అవుట్ పరిమితిని Neon Functions తొలగిస్తుంది. ఏజెంట్‌కు ఆలోచించడానికి మరియు మాట్లాడటానికి ఎంత సమయం అవసరమో అంత కాలం రిక్వెస్ట్‌ను తెరిచి ఉంచడం ద్వారా, Neon స్ట్రీమింగ్ AI ఏజెంట్‌లను ఏ ఇతర సర్వర్‌లెస్ ఫంక్షన్‌లాగానైనా సులభంగా డిప్లాయ్ చేసేలా చేస్తుంది.