முக்கியத்துவம் என்பது தொடரும் மதிப்பு அல்ல
பெரும்பாலான மக்கள் ஏஜென்ட் நினைவகத்தை (agent memory) தவறான முறையில் உருவாக்குகிறார்கள்.
அவர்கள் சேமிப்பில்தான் (storage) கவனம் செலுத்துகிறார்கள். அவர்கள் vector stores அல்லது புத்திசாலித்தனமான சுருக்கிகளை (summarizers) பயன்படுத்துகிறார்கள். அனைத்தையும் சேமித்துவிட்டால், ஏஜென்ட் அனைத்தையும் தெரிந்து கொள்ளும் என்று அவர்கள் நினைக்கிறார்கள்.
அவர்கள் தவறு செய்கிறார்கள்.
உங்களிடம் நூற்றுக்கணக்கான அமர்வுகள் (sessions) இருக்கும்போது, அனைத்தையும் உங்களால் படிக்க முடியாது. உங்கள் ஏஜென்ட் எந்தத் தகவலும் இன்றி ஒரு புதிய அமர்வைத் தொடங்கினால், அது நேரத்தை வீணடிக்கும். அதிகப்படியான தேவையற்ற தகவல்களுடன் (noise) தொடங்கினால், அது தவறுகளைச் செய்யும்.
பிரச்சனைத் தேர்வில் (selection) உள்ளது. பெரும்பாலான மக்கள் முக்கியத்துவத்தையும் (salience) தொடரும் மதிப்பையும் (carry value) குழப்பிக்கொள்கிறார்கள்.
- முக்கியத்துவம் (Salience) என்பது கடந்த அமர்வில் எது முக்கியமாக அல்லது சத்தமாக இருந்தது என்பதை உங்களுக்குச் சொல்கிறது.
- தொடரும் மதிப்பு (Carry value) என்பது அடுத்த அமர்வு செயல்பட எவை தேவை என்பதை உங்களுக்குச் சொல்கிறது.
ஒரு மாறிப் பெயரைக் (variable name) குறித்த விவாதம் அதிக முக்கியத்துவத்தைக் (salience) கொண்டிருக்கலாம். ஆனால் அந்தப் பெயர் எதிர்காலக் குறியீட்டை (code) பாதிக்கவில்லை என்றால், அதற்குத் தொடரும் மதிப்பு (carry value) பூஜ்ஜியம். அதை நீங்கள் அடுத்தடுத்த அமர்வுகளுக்குக் கொண்டு சென்றால், நீங்கள் தேவையற்ற தகவல்களை (noise) மட்டுமே சேர்க்கிறீர்கள்.
நான் இந்த விதிகளின் அடிப்படையில் ஒரு நினைவகப் பாதையை (memory pipeline) இயக்குகிறேன்:
முதலில் இயந்திரரீதியான முக்கியத்துவம் (Mechanical salience). ஒரு தீர்மானிக்கப்பட்ட மதிப்பெண் கருவியைப் (deterministic scorer) பயன்படுத்தி முக்கியமான தருணங்களைக் கண்டறியுங்கள். சாதாரணக் கருத்துக்களைக் காட்ட திருத்தங்களுக்கு (corrections) அதிக முக்கியத்துவம் கொடுங்கள். ஒவ்வொரு சிறப்பம்சமும் (highlight) மூலப் பதிவோடு (raw transcript) இணைக்கப்பட்டிருக்க வேண்டும். ஒரு மாதிரி (model) ஆதாரமின்றித் தகவல்களைத் தானாக உருவாக்க அனுமதிக்காதீர்கள்.
இரண்டாவதாகச் தொகுப்பு (Synthesis). சிறப்பம்சங்களுக்கு (highlights) ஒரு பொருளைச் சேர்க்க மட்டுமே LLM-ஐப் பயன்படுத்துங்கள். உங்கள் சிறப்பம்சங்கள் மோசமாக இருந்தால், அதன் சுருக்கம் வெறும் நம்பிக்கையான அர்த்தமற்றத் தகவலாகவே இருக்கும்.
மீட்டெடுக்கும் நேரச் சுருக்கத்தைப் (retrieval-time brief) பயன்படுத்துங்கள். ஒவ்வொரு திட்டத்திற்கும் INDEX.md போன்ற ஒரு கோப்பை உருவாக்குங்கள். ஒரு அமர்வின் தொடக்கத்தில் ஏஜென்ட் இந்தத் கோப்பைப் படிக்கும். எந்த ஒரு மாதிரியும் (model) இந்தச் சுருக்கத்தை அந்தத் தருணத்தில் உருவாக்கக்கூடாது. இது நீங்கள் கையால் திறந்து திருத்தக்கூடிய ஒரு சாதாரணக் கோப்பாக இருக்க வேண்டும்.
சிறந்த நினைவகத்தை உருவாக்க, முக்கியமான விஷயங்களின் பட்டியல் மட்டும் போதாது. உங்களுக்குத் தேவை:
- இரண்டு மதிப்பெண்கள்: ஒன்று அது எவ்வளவு முக்கியமானது (salience) என்பதற்கும், மற்றொன்று அது பிறகு எவ்வளவு முக்கியத்துவம் வாய்ந்தது (carry value) என்பதற்கும்.
- நினைவக வகுப்புகள் (Memory classes): செயல்பாட்டில் உள்ள முடிவுகள், செயல்பாட்டுத் தடைகள் மற்றும் முடிக்கப்படாத பணிகளைத் (open loops) தனித்தனியாகப் பிரியுங்கள்.
- காலாவதி தேதிகள் (Expiry dates): ஒவ்வொரு நினைவகத்திற்கும் அழிந்து போவதற்கு ஒரு காரணம் இருக்க வேண்டும். காலாவதி தேதி இல்லையென்றால், சூழல் (context) உங்கள் அமைப்பை நெரிசலாக்கும்.
- தூண்டுதல்கள் (Triggers): ஒரு நினைவகம் எப்போது தோன்ற வேண்டும் என்பதைத் துல்லியமாக வரையறுக்கவும்.
மீட்டெடுப்புச் செலவைக் (recovery cost) குறைப்பதே இதன் இலக்காகும்.
மீட்டெடுப்புச் செலவு என்பது ஒரு ஏஜென்ட் தான் விட்ட இடத்திலிருந்து மீண்டும் தொடங்குவதற்கு எத்தனை டோக்கன்கள் அல்லது நிமிடங்கள் தேவைப்படும் என்பதைக் குறிக்கும். உங்கள் நினைவகப் பாதை வெறும் வேடிக்கைக்காக (theater) மட்டுமே இருந்தால், உங்கள் மீட்டெடுப்புச் செலவு அதிகமாகவே இருக்கும்.
பெரிய சேமிப்பகங்களை உருவாக்குவதை நிறுத்துங்கள். சிறந்தத் தேர்வை உருவாக்கத் தொடங்குங்கள்.
மூலம்: https://dev.to/jugeni/salience-is-not-carry-value-notes-from-a-running-session-memory-pipeline-4dda
விருப்பத்தேர்வு கற்றல் சமூகம்: https://t.me/GyaanSetuAi