Neon Functions ಈಗ ಅನಿಯಮಿತ ಅವಧಿಯ ಸ್ಟ್ರೀಮಿಂಗ್ ಕನೆಕ್ಷನ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಇದು ಹೆಚ್ಚಿನ ಸರ್ವರ್‌ಲೆಸ್ ವರ್ಕ್‌ಲೋಡ್‌ಗಳನ್ನು ನಿಲ್ಲಿಸುವ ಟೈಮೌಟ್ ಮಿತಿಗಳಿಗೆ ಸಿಲುಕದೆ AI ಏಜೆಂಟ್‌ಗಳು ಸೆಕೆಂಡುಗಳು, ನಿಮಿಷಗಳು ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಾಲ ಲೈವ್ ಚಾನಲ್ ಅನ್ನು ತೆರೆದಿಡಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಚಾಟ್-ಶೈಲಿಯ ಅಸಿಸ್ಟೆಂಟ್‌ಗಳು ಅಥವಾ ಟೂಲ್-ಬಳಸುವ ಬಾಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವವರಿಗೆ ಈ ಬದಲಾವಣೆ ಬಹಳ ಮುಖ್ಯವಾಗಿದೆ, ಏಕೆಂದರೆ ಕಡಿತಗೊಂಡ ಸ್ಟ್ರೀಮ್ ಸಂಭಾಷಣೆಯನ್ನು ಸ್ಥಗಿತಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಬಳಕೆದಾರರ ಅನುಭವವನ್ನು ಹಾಳುಮಾಡುತ್ತದೆ.

ಸರ್ವರ್‌ಲೆಸ್ ಮತ್ತು AI ಏಜೆಂಟ್‌ಗಳು ಏಕೆ ಪರಸ್ಪರ ವಿರುದ್ಧವಾಗಿದ್ದವು

ಹೆಚ್ಚಿನ ಸರ್ವರ್‌ಲೆಸ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳನ್ನು ತ್ವರಿತವಾದ, 'ಫೈರ್-ಅಂಡ್-ಫಾರ್ಗೆಟ್' (fire-and-forget) ಕಾರ್ಯಗಳಿಗಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಸಂಪನ್ಮೂಲಗಳನ್ನು ಊಹಿಸಬಹುದಾದ ರೀತಿಯಲ್ಲಿಡಲು ಅವು ಕಠಿಣ ಕಾರ್ಯಗತಗೊಳಿಸುವ ಮಿತಿಗಳನ್ನು ಹೇರುತ್ತವೆ—ಸಾಮಾನ್ಯವಾಗಿ ಉಚಿತ ಹಂತಗಳಲ್ಲಿ 10 ಸೆಕೆಂಡುಗಳು ಮತ್ತು ಪಾವತಿಸಿದ ಯೋಜನೆಗಳಲ್ಲಿ 60 ಸೆಕೆಂಡುಗಳು. ಆದರೆ, ಒಂದು AI ಏಜೆಂಟ್ ಆಲೋಚಿಸಲು, ಬಾಹ್ಯ ಟೂಲ್‌ಗಳನ್ನು ಕರೆಯಲು ಮತ್ತು ಟೋಕನ್‌ಗಳು ಉತ್ಪತ್ತಿಯಾಗುತ್ತಿದ್ದಂತೆ ಅವುಗಳನ್ನು ಹೊರಸೂಸಲು ಸಮಯವನ್ನು ವ್ಯಯಿಸುತ್ತದೆ. ಆ "ಆಲೋಚಿಸುವ" ಹಂತವು ಹೆಚ್ಚಾಗಿ ಹತ್ತಾರು ಸೆಕೆಂಡುಗಳವರೆಗೆ ವಿಸ್ತರಿಸಬಹುದು ಮತ್ತು ಮಾಡೆಲ್ ಔಟ್‌ಪುಟ್ ನೀಡುವವರೆಗೆ ಟೋಕನ್ ಸ್ಟ್ರೀಮ್ ಮುಂದುವರಿಯಬಹುದು. ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ಟೈಮರ್ ಮುಗಿದಾಗ, ಅದು ಕನೆಕ್ಷನ್ ಅನ್ನು ಮುಚ್ಚುತ್ತದೆ ಮತ್ತು ಕ್ಲೈಂಟ್ ಕಡಿತಗೊಂಡ ಸ್ಟ್ರೀಮ್ ಅನ್ನು ನೋಡುತ್ತದೆ.

Neon ನ ಉತ್ತರ: ಡಿಫಾಲ್ಟ್ ಆಗಿ ದೀರ್ಘಕಾಲದ ಸ್ಟ್ರೀಮಿಂಗ್

Neon Functions ಈ ಪರಿಸ್ಥಿತಿಯನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ. ಯಾವುದೇ ವಿಶೇಷ ಕಾನ್ಫಿಗರೇಶನ್ ಇಲ್ಲದೆ, WebSockets ಅಥವಾ Server-Sent Events (SSE) ಮೂಲಕ ಡೇಟಾವನ್ನು ನೀಡುತ್ತಾ, ಒಂದು ಫಂಕ್ಷನ್ ಕಾಲ್ ಅನ್ನು ಅನಿಯಮಿತವಾಗಿ ತೆರೆದಿಡಬಹುದು. ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ದೀರ್ಘ ಸ್ಟ್ರೀಮ್ ಅನ್ನು ಸಾಮಾನ್ಯ ವಿನಂತಿಯೆಂದು ಪರಿಗಣಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಡೆವಲಪರ್‌ಗಳು ಸ್ಟ್ರೀಮ್ ಅನ್ನು ಉತ್ಪಾದಿಸುವ ಲಾಜಿಕ್ ಅನ್ನು ಬರೆಯಬಹುದು ಮತ್ತು ಉಳಿದದ್ದನ್ನು Neon ನಿರ್ವಹಿಸಲು ಬಿಡಬಹುದು.

ಇತ್ತೀಚಿನ ಪರೀಕ್ಷೆಯಲ್ಲಿ, ಎರಡು ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳು ಈ ವರ್ತನೆಯನ್ನು ಪ್ರದರ್ಶಿಸಿದವು:

  • Heartbeat endpoint – ಫಂಕ್ಷನ್ 90 ಸೆಕೆಂಡುಗಳ ಕಾಲ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಒಮ್ಮೆ “tick” ಅನ್ನು ಹೊರಸೂಸಿತು. ಸಾಮಾನ್ಯ ಸರ್ವರ್‌ಲೆಸ್ ಹಂತಗಳು 10 ಅಥವಾ 60 ಸೆಕೆಂಡುಗಳ ನಂತರ ವಿನಂತಿಯನ್ನು ಕೊನೆಗೊಳಿಸುತ್ತಿದ್ದವು; Neon ಫಂಕ್ಷನ್ ತನ್ನಷ್ಟಕ್ಕೆ ತಾನೇ ಮುಗಿಯುವವರೆಗೆ ಕನೆಕ್ಷನ್ ಅನ್ನು ಜೀವಂತವಾಗಿರಿಸಿತು.
  • Token-relay endpoint – ಪ್ರತಿ ಟೋಕನ್ ಉತ್ಪತ್ತಿಯಾದ ತಕ್ಷಣ ಫಂಕ್ಷನ್ AI ಮಾಡೆಲ್‌ನಿಂದ ಕ್ಲೈಂಟ್‌ಗೆ ಟೋಕನ್‌ಗಳನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡಿತು. ಬಳಕೆದಾರರು ಇಡೀ ಪಠ್ಯದ ಬ್ಲಾಕ್ ಕಾಯುವ ಬದಲು, ಉತ್ತರವು ಪದ ಪದಕ್ಕೇ ಕಾಣಿಸಿಕೊಳ್ಳುವುದನ್ನು ನೋಡಿದರು.

ಎರಡೂ ಉದಾಹರಣೆಗಳಿಗೆ ಕ್ಲೈಂಟ್‌ನಿಂದ ಕೇವಲ ಒಂದು ವಿನಂತಿ ಮಾತ್ರ ಬೇಕಾಯಿತು; ಯಾವುದೇ polling ಅಥವಾ keep-alive ತಂತ್ರಗಳ ಅಗತ್ಯವಿರಲಿಲ್ಲ.

ಯಾರು ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತಾರೆ ಮತ್ತು ಯಾರು ಎಚ್ಚರಿಕೆಯಿಂದ ಇರಬೇಕು

ಸಂಭಾಷಣಾತ್ಮಕ ಅಸಿಸ್ಟೆಂಟ್‌ಗಳು, ಟೂಲ್-ಬಳಸುವ ಏಜೆಂಟ್‌ಗಳು ಅಥವಾ ಹಂತ ಹಂತದ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುವ ಯಾವುದೇ ಸೇವೆಯನ್ನು ನಿರ್ಮಿಸುವ ತಂಡಗಳು ತಕ್ಷಣದ ಗೆಲುವನ್ನು ಪಡೆಯುತ್ತವೆ: ಟೈಮೌಟ್ ಸಮಸ್ಯೆ ಮಾಯವಾಗುತ್ತದೆ. ಇದರ ಪರಿಣಾಮವಾಗಿ ಸರಳವಾದ ಕೋಡ್, ಕಡಿಮೆ ವಿಳಂಬ (latency) ಮತ್ತು ಸುಗಮ ಬಳಕೆದಾರರ ಅನುಭವ ಲಭ್ಯವಾಗುತ್ತದೆ.

ಈ ಬದಲಾವಣೆಗಳ ಮಿತಿಗಳನ್ನು ಗಮನಿಸುವುದು ಮುಖ್ಯವಾಗಿದೆ:

  • Request-only model – Neon Functions ಸಕ್ರಿಯ ವಿನಂತಿಗೆ (active request) ಅಂಟಿಕೊಂಡಿರುವ ಸ್ಟ್ರೀಮ್‌ಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ವಿನಂತಿಗಿಂತ ಹೆಚ್ಚು ಕಾಲ ಬಾಳಿಕೆ ಬರಬೇಕಾದ ಬ್ಯಾಕ್‌ಗ್ರೌಂಡ್ ಕೆಲಸಗಳಿಗೆ ಇನ್ನು ಕೂಡ Inngest ಅಥವಾ ಅಂತಹದೇ ವರ್ಕ್‌ಫ್ಲೋ ಇಂಜಿನ್‌ನಂತಹ ಪ್ರತ್ಯೇಕ ಶೆಡ್ಯೂಲರ್ ಅಗತ್ಯವಿದೆ.
  • Cold starts – ನಿಷ್ಕ್ರಿಯವಾಗಿರುವ ಫಂಕ್ಷನ್‌ಗಳು ಸ್ಕೇಲ್ ಟು ಜೀರೋ (scale to zero) ಆಗಬಹುದು, ಆದ್ದರಿಂದ ಮುಂದಿನ ವಿನಂತಿಗೆ ಕೋಲ್ಡ್-ಸ್ಟಾರ್ಟ್ ವಿಳಂಬವಾಗಬಹುದು. ಸಕ್ರಿಯ ಸ್ಟ್ರೀಮ್ ಸ್ಕೇಲಿಂಗ್ ಡೌನ್ ಆಗುವುದನ್ನು ತಡೆಯುತ್ತದೆ, ಆದರೆ ನಿಷ್ಕ್ರಿಯತೆಯ ನಂತರದ ಮೊದಲ ವಿನಂತಿಯು ಇಂದಿಗೂ ಸ್ಟಾರ್ಟ್-ಅಪ್ ವೆಚ್ಚವನ್ನು ಭರಿಸಬೇಕಾಗುತ್ತದೆ.

ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು

ಅಂತಿಮವಾಗಿ: Neon Functions AI ಡೆವಲಪರ್‌ಗಳನ್ನು ದೀರ್ಘಕಾಲದವರೆಗೆ ಪರಿಹಾರಗಳನ್ನು ಹುಡುಕುವಂತೆ ಮಾಡುತ್ತಿದ್ದ ಟೈಮೌಟ್ ಮಿತಿಯನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ. ಏಜೆಂಟ್‌ಗೆ ಆಲೋಚಿಸಲು ಮತ್ತು ಮಾತನಾಡಲು ಎಷ್ಟು ಸಮಯ ಬೇಕೋ ಅಷ್ಟು ಕಾಲ ವಿನಂತಿಯನ್ನು ತೆರೆದಿಡಲು ಅನುಮತಿಸುವ ಮೂಲಕ, Neon ಸ್ಟ್ರೀಮಿಂಗ್ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಯಾವುದೇ ಇತರ ಸರ್ವರ್‌ಲೆಸ್ ಫಂಕ್ಷನ್‌ನಷ್ಟೇ ಸುಲಭವಾಗಿ ನಿಯೋಜಿಸಲು ಮಾಡುತ್ತದೆ.