𝗪𝗵𝘆 𝗔𝗜 𝗡𝗲𝗲𝗱𝘀 𝗦𝘁𝗮𝘁𝗲 𝗠𝗮𝗻𝗮𝗴𝗲𝗺𝗲𝗻𝘁 𝗠𝗼𝗿𝗲 𝗧𝗵𝗮𝗻 𝗕𝗶𝗴𝗴𝗲𝗿 𝗖𝗼𝗻𝘁𝗲𝘅𝘁 𝗪𝗶𝗻𝗱𝗼𝘄𝘀

புதிய மாடல்கள் மிகப்பெரிய context windows உடன் அறிமுகப்படுத்தப்படுகின்றன. இதன் பின்னணியில் உள்ள அனுமானம் எளிமையானது. ஒரே கோரிக்கையில் (request) அதிக தரவுகளைக் கொடுப்பது அனைத்துப் பிரச்சினைகளையும் தீர்த்துவிடும் என்பதுதான் அது.

நீங்கள் அதிக ஆவணங்களைச் சேர்க்கிறீர்கள். அதிக வரலாற்றைச் (history) சேர்க்கிறீர்கள். அதிக workflow தரவுகளைச் சேர்க்கிறீர்கள்.

ஆனால் AI-யை நேரடிப் பயன்பாட்டில் (production) இயக்கிய பிறகு, நாங்கள் ஒரு பாடத்தைக் கற்றுக்கொண்டோம். Context windows உதவுகின்றன. ஆனால் State management தான் மிக முக்கியமானது.

AI தவறான முடிவுகளைத் தரும்போது, குழுக்கள் பெரும்பாலும் prompt-இல் அதிக தகவல்களைச் சேர்க்கிறார்கள். மாடலுக்கு அதிக வரலாறு அல்லது அதிக வணிக சூழல் (business context) தேவை என்று அவர்கள் நினைக்கிறார்கள். இதனால் prompt தொடர்ந்து வளர்ந்து கொண்டே போகிறது.

அதிகத் தகவல் என்பது சிறந்த முடிவுகளைத் தரும் என்று அர்த்தமல்ல. அது பெரும்பாலும் அதற்கு நேர்மாறாக அமையும். பெரிய context windows மோசமான கட்டமைப்பை (architecture) மறைத்துவிடுகின்றன. பொருத்தமான தரவைத் தேர்ந்தெடுப்பதற்குப் பதிலாக, அமைப்புகள் அனைத்தையும் உள்ளடக்கிவிடுகின்றன.

இது பல சிக்கல்களை உருவாக்குகிறது:

மாடலிடம் அதிகத் தகவல் இருக்கிறது, ஆனால் தெளிவு குறைவாக உள்ளது.

Context மற்றும் State ஆகியவற்றிற்கு இடையிலான வித்தியாசத்தை நீங்கள் புரிந்துகொள்ள வேண்டும். Context என்பது ஒரு தனிப்பட்ட கோரிக்கையின் (single request) போது கிடைக்கும் தகவல். State என்பது ஒரு அமைப்பு காலப்போக்கில் அறிந்து கொள்ளும் தகவல்.

State-க்கு உதாரணங்கள்:

இவை ஒவ்வொன்றும் ஒவ்வொரு prompt-இடமும் இருக்க வேண்டிய அவசியமில்லை. Distributed systems அனைத்துத் தரவுகளையும் எல்லா இடங்களுக்கும் அனுப்புவதன் மூலம் சிக்கல்களைத் தீர்ப்பதில்லை. அவை State-ஐ நிர்வகிக்க databases, caches மற்றும் queues ஆகியவற்றைப் பயன்படுத்துகின்றன.

AI அமைப்புகள் பெரும்பாலும் இந்த ஒழுக்கத்தைத் தவிர்க்கின்றன. அவை context window-வை ஒரு தற்காலிக database ஆகக் கருதுகின்றன. இது ஒரு கட்டமைப்பு ரீதியான சோம்பேறித்தனம் (architectural laziness).

"எல்லாவற்றையும் இதில் அடக்கிவிட முடியுமா?" என்று கேட்பதை நிறுத்துங்கள். "எந்தத் தகவல் தேவை?" என்று கேட்கத் தொடங்குங்கள்.

Context அளவை அதிகரிப்பதன் மூலம் அல்லாமல், state management-ஐ மேம்படுத்துவதன் மூலம் நாங்கள் சிறந்த முடிவுகளைக் கண்டறிந்தோம். நாங்கள் இதைச் செய்த விதம்:

இது குறைந்த செலவு மற்றும் வேகமான செயல்பாட்டிற்கு வழிவகுத்தது. இதற்குப் பெரிய மாடல்கள் தேவையில்லை. சிறந்த வடிவமைப்பு (design) மட்டுமே தேவைப்பட்டது.

மாடலுக்கு எல்லாவற்றையும் அணுகுவதற்கு அனுமதிப்பதே இலக்கல்ல. சரியான நேரத்தில் சரியான தகவலை மாடலுக்கு வழங்குவதே இலக்காகும்.

Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m

Optional learning community: https://t.me/GyaanSetuAi