Neon Functions இப்போது வரம்பற்ற கால அளவு கொண்ட ஸ்ட்ரீமிங் இணைப்புகளை (unlimited-duration streaming connections) ஆதரிக்கிறது. இது AI ஏஜெண்டுகள் (AI agents) பெரும்பாலான சர்வர்லெஸ் பணிச்சுமைகளை (serverless workloads) முடக்கும் டைம்அவுட் (timeout) வரம்புகளைத் தாண்டாமல், வினாடிகள், நிமிடங்கள் அல்லது அதற்கு மேலாக ஒரு நேரடித் தொடர்பைத் (live channel) திறந்து வைத்திருக்க அனுமதிக்கிறது. அரட்டை பாணி உதவியாளர்கள் (chat-style assistants) அல்லது கருவிகளைப் பயன்படுத்தும் பாட்களை (tool-using bots) உருவாக்குபவர்களுக்கு இந்த மாற்றம் மிக முக்கியமானது, ஏனெனில் ஒரு தடைபட்ட ஸ்ட்ரீம் உரையாடலைத் தடுத்து, பயனர் அனுபவத்தைக் கெடுக்கும்.

ஏன் சர்வர்லெஸ் மற்றும் AI ஏஜெண்டுகள் முரண்பட்ட நிலையில் இருந்தன

பெரும்பாலான சர்வர்லெஸ் தளங்கள் விரைவாகச் செய்து முடிக்கும் பணிகளுக்காக (fire-and-forget tasks) உருவாக்கப்பட்டுள்ளன. வளங்களைச் சீராக வைத்திருக்க அவை கடுமையான செயல்பாட்டு வரம்புகளை (execution caps) விதிக்கின்றன—பெரும்பாலும் இலவசத் திட்டங்களில் 10 வினாடிகளும், கட்டணத் திட்டங்களில் 60 வினாடிகளும் இருக்கும். இருப்பினும், ஒரு AI ஏஜெண்ட் சிந்திப்பதற்கும், வெளிப்புறக் கருவிகளை அழைப்பதற்கும் மற்றும் டோக்கன்கள் (tokens) உருவாக்கப்படும்போது அவற்றை வெளியிடுவதற்கும் நேரத்தைச் செலவிடுகிறது. அந்த "சிந்தனை" (thinking) நிலை பெரும்பாலும் பல பத்து வினாடிகள் வரை நீடிக்கலாம், மேலும் மாடல் வெளியீட்டைத் தயாரிக்கும் வரை டோக்கன் ஸ்ட்ரீம் தொடரலாம். தளத்தின் டைமர் முடிவடையும் போது, அது இணைப்பை மூடிவிடுகிறது, இதனால் கிளையன்ட் ஒரு தடைபட்ட ஸ்ட்ரீமைப் பார்க்கிறது.

Neon-ன் பதில்: இயல்பாகவே நீண்ட காலம் நீடிக்கக்கூடிய ஸ்ட்ரீமிங்

Neon Functions இந்தச் சூழலை மாற்றுகிறது. ஒரு function call எந்தவொரு சிறப்புத் தேவையும் இன்றி WebSockets அல்லது Server-Sent Events (SSE) மூலம் தரவை வழங்கிக்கொண்டே, முடிவில்லாமல் திறந்திருக்க முடியும். இந்தத் தளம் ஒரு நீண்ட ஸ்ட்ரீமை ஒரு சாதாரண கோரிக்கையாகவே (normal request) கருதுகிறது, எனவே டெவலப்பர்கள் ஸ்ட்ரீமை உருவாக்கும் தர்க்கத்தை (logic) மட்டும் எழுதினால் போதும், மீதமுள்ளவற்றை Neon கவனித்துக் கொள்ளும்.

சமீபத்திய சோதனையில், இரண்டு எண்ட்பாயிண்டுகள் (endpoints) இந்தச் செயல்பாட்டை நிரூபித்தன:

  • Heartbeat endpoint – இந்த function 90 வினாடிகளுக்கு ஒருமுறை ஒரு “tick”-ஐ வெளியிட்டது. வழக்கமான சர்வர்லெஸ் திட்டங்கள் 10 அல்லது 60 வினாடிகளுக்குப் பிறகு கோரிக்கையை முடித்திருக்கும்; ஆனால் Neon அந்த function தானாகவே முடியும் வரை இணைப்பைத் தொடர்ந்து வைத்திருந்தது.
  • Token-relay endpoint – ஒவ்வொரு டோக்கன் உருவாக்கப்பட்டவுடனேயே, இந்த function ஒரு AI மாடலில் இருந்து கிளையன்ட்டிற்கு டோக்கன்களை ஸ்ட்ரீம் செய்தது. பயனர்கள் முழு உரையையும் காத்திருக்காமல், வார்த்தை வார்த்தையாகப் பதில் தோன்றுவதைக் கண்டனர்.

இரண்டு உதாரணங்களுக்கும் கிளையன்ட்டில் இருந்து ஒரே ஒரு கோரிக்கை மட்டுமே தேவைப்பட்டது; எந்தவொரு polling அல்லது keep-alive நுணுக்கங்களும் தேவையில்லை.

யாருக்குப் பயன், யார் எச்சரிக்கையாக இருக்க வேண்டும்

உரையாடல் உதவியாளர்கள் (conversational assistants), கருவிகளைப் பயன்படுத்தும் ஏஜெண்டுகள் அல்லது படிப்படியான முடிவுகளைத் (incremental results) தள்ள வேண்டிய எந்தவொரு சேவையை உருவாக்கும் குழுக்களுக்கு இது ஒரு உடனடி வெற்றியாகும்: டைம்அவுட் (timeout) பிரச்சனை நீங்குகிறது. இதன் விளைவாக எளிமையான குறியீடு (code), குறைந்த தாமதம் (latency) மற்றும் மென்மையான பயனர் அனுபவம் கிடைக்கும்.

கவனிக்க வேண்டிய சில விஷயங்கள்:

  • Request-only model – Neon Functions ஒரு செயல்பாட்டில் உள்ள கோரிக்கையுடன் (active request) இணைந்திருக்கும் ஸ்ட்ரீம்களைக் கையாள்கிறது. கோரிக்கைக்கு அப்பால் நீடிக்க வேண்டிய பின்னணிப் பணிகள் (Background jobs) இன்னும் Inngest அல்லது அது போன்ற ஒரு பணிப்பாய்வு இயந்திரத்தைப் (workflow engine) போன்ற தனித் திட்டமிடுபவர் (scheduler) தேவைப்படும்.
  • Cold starts – பயன்பாட்டில் இல்லாத Functions பூஜ்ஜியத்திற்குச் சுருங்கக்கூடும் (scale to zero), எனவே அடுத்த கோரிக்கை ஒரு cold-start தாமதத்தை ஏற்படுத்தலாம். ஒரு செயல்பாட்டில் உள்ள ஸ்ட்ரீம் (active stream) சுருங்குவதைத் தடுக்கிறது, ஆனால் செயலற்ற நிலைக்குப் பிறகு வரும் முதல் கோரிக்கை இன்னும் தொடக்கச் செலவை (start-up cost) ஏற்கும்.

அடுத்து கவனிக்க வேண்டியவை

சுருக்கமாகச் சொன்னால்: AI டெவலப்பர்களை நீண்டகாலமாக மாற்று வழிகளை (workarounds) நோக்கித் தள்ளியிருந்த டைம்அவுட் உச்சவரம்பை (timeout ceiling) Neon Functions நீக்குகிறது. ஒரு ஏஜெண்ட் சிந்திக்கவும் பேசவும் தேவைப்படும் வரை ஒரு கோரிக்கையைத் திறந்து வைத்திருக்க அனுமதிப்பதன் மூலம், ஸ்ட்ரீமிங் AI ஏஜெண்டுகளை மற்ற எந்த சர்வர்லெஸ் function போலவும் எளிதாகப் பயன்படுத்த Neon வழிவகை செய்கிறது.