𝗪𝗵𝘆 𝗔𝗜 𝗖𝗵𝗮𝗿𝗮𝗰𝘁𝗲𝗿𝘀 𝗙𝗼𝗿𝗴𝗲𝘁 𝗧𝗵𝗲𝗶𝗿 𝗜𝗱𝗲𝗻𝘁𝗶𝘁𝘆
ஒரு கதாபாத்திரத்தை உருவாக்க நீங்கள் இரண்டு மணிநேரம் செலவிடுகிறீர்கள். முப்பது உரையாடல்களுக்குப் பிறகு, அந்த கதாபாத்திரம் தனது பெயரை மறந்துவிடுகிறது. அது ஒரு சாதாரண உதவியாளரைப் போல செயல்படத் தொடங்குகிறது.
AI-க்கு மோசமான நினைவாற்றல் இருப்பதாக பெரும்பாலான மக்கள் நினைக்கிறார்கள். இந்த கருத்து தவறு.
பிரச்சனை 'context window' தான்.
Chat மாடல்கள் 'stateless' (நிலைத்தன்மையற்றவை). நீங்கள் ஒவ்வொரு முறை ஒரு செய்தியையும் அனுப்பும்போதும், அந்தச் செயலி (app) system prompt, கதாபாத்திர விவரங்கள் மற்றும் உங்கள் சமீபத்திய உரையாடல் வரலாற்றை மீண்டும் மாடலுக்கு அனுப்புகிறது.
நீங்கள் நினைவாற்றல் என்று அழைப்பது, அந்த உள்ளீட்டுச் சாளரத்திற்குள் (input window) இருக்கும் வரலாற்றை மட்டுமேயாகும்.
உரையாடல் மிக நீளமாகும்போது, பழைய செய்திகள் அந்தச் சாளரத்திற்கு வெளியே சென்றுவிடுகின்றன. 41-வது உரையாடலுக்கு இடம் கொடுக்க, 12-வது உரையாடலில் இருந்த விவரங்கள் மறைந்துவிடுகின்றன. மாடல் எதையும் மறப்பதில்லை. அந்தச் செயலி அந்தத் தகவலை அதற்குத் காட்டுவதை நிறுத்திவிடுகிறது, அவ்வளவுதான்.
பெரிய context window என்பது இதற்குத் தீர்வாகாது.
பெரிய சாளரங்கள் இரண்டு சிக்கல்களை ஏற்படுத்துகின்றன:
- செலவு மற்றும் வேகம்: சாளரத்தின் அளவை இருமடங்காக்குவது கணக்கீட்டுத் தேவைகளை (compute needs) கணிசமாக அதிகரிக்கிறது. பதில்கள் வேகமாகவும் மலிவாகவும் இருக்க வேண்டும் என்பதற்காகச் செயலிகள் பெரும்பாலும் சாளரத்தின் அளவைக் கட்டுப்படுத்துகின்றன.
- Middle degradation: நீண்ட உரையின் தொடக்கத்திலோ அல்லது இறுதியிலோ உள்ள உண்மைகளை மாடல்கள் நன்றாகக் கண்டறிகின்றன என்று ஆய்வுகள் காட்டுகின்றன. ஆனால் நடுவில் புதைந்துள்ள உண்மைகளை அவை தவறவிடுகின்றன.
சிறந்த செயலிகள் வெறும் சாளர அளவை மட்டும் நம்பியிருப்பதில்லை. அவை இரண்டு குறிப்பிட்ட முறைகளைப் பயன்படுத்துகின்றன:
- Recursive summarization: செயலி பழைய செய்திகளை ஒரு சிறிய சுருக்கமாக மாற்றுகிறது. இது அதிக இடத்தைப் பயன்படுத்தாமல் முக்கியத் தகவல்களைத் தக்கவைத்துக் கொள்கிறது.
- Retrieval: செயலி பழைய செய்திகளை ஒரு தரவுத்தளத்தில் (database) சேமிக்கிறது. உங்களுக்குத் தேவைப்படும்போது தொடர்புடைய உண்மைகளை மட்டும் அது எடுத்துத் தருகிறது. Lorebooks இவ்வாறுதான் செயல்படுகின்றன.
ஒரு நல்ல செயலிக்கும் ஒரு மோசமான செயலிக்கும் இடையிலான வேறுபாடு அதன் கட்டமைப்பு (architecture) தான். ஒன்று நினைவாற்றல் அடுக்கைப் (memory layer) பயன்படுத்துகிறது. மற்றொன்று வெறும் சாளரத்தின் மேல் ஒரு மெல்லிய உறையாக (thin wrapper) மட்டுமே உள்ளது.
உங்கள் கதாபாத்திரம் தனது ஆளுமையை இழக்க நேரிட்டால், பெரிய மாடலைப் பயன்படுத்த வேண்டாம். கட்டமைப்பை மாற்றவும். பழைய உரையாடல்களைச் சுருக்கவும். முக்கியமானவற்றை மீட்டெடுக்கவும்.
Context window-ஐ ஒரு ஹார்ட் டிரைவ் போலக் கருதாமல், ஒரு கேச் (cache) போலக் கருதுங்கள்.
Optional learning community: https://t.me/GyaanSetuAi