நான் எனது கண்காணிப்பாளரை (watchdog) நம்பி வந்தேன். அதை நானே உருவாக்கினேன், அது கடிகாரத்தைப் போல துல்லியமாக இயங்கியது. எனது ஏஜென்ட் (agent) ஒவ்வொரு பணியையும் முடித்த பிறகு, வெளியீட்டைச் சரிபார்க்க கண்காணிப்பாளர் உள்ளே வருவார். ஏதேனும் தவறு என்று தோன்றினால், எனக்கு எச்சரிக்கை வரும். தானியங்கி முறை கட்டுப்பாட்டை இழந்து திசைமாறாமல் இருக்க, அது எனது பாதுகாப்பு வலையாகவும், பகுத்தறிவுச் சோதனையாகவும் (sanity check) இருக்க வேண்டியிருந்தது. ஆனால், அது குப்பையை (தவறான தகவலை) தலையசைத்து ஏற்றுக்கொண்டதைக் கண்டேன்.
ஏஜென்ட் தவறான வெளியீட்டை உருவாக்கியது. கண்காணிப்பாளர் அதைப் பார்த்துவிட்டு, ஏதுமில்லை என்று தோள்களைக் குலுக்கிவிட்டு, எல்லாம் சரியாக உள்ளது என்ற செய்தியை எனக்கு அனுப்பினார். அவர்கள் இருவரும் தவறு செய்தார்கள். அதைவிட மோசமாக, அவர்கள் இருவரும் ஒரே மாதிரியான தவறு செய்தார்கள்.
கண்காணிப்பாளர் பொய் சொல்லத் தொடங்கும் போது
கண்காணிப்பாளர் ஒரு LLM ஆகும். ஏஜென்ட்டை இயக்கும் அதே அமைப்பிற்குள்ளேயே நான் அதை இணைத்திருந்தேன்; ஒரு சாதாரண ஸ்கிரிப்ட் தவறவிடும் பிழைகளை, மொழியியல் ரீதியான பகுத்தறிவு (language reasoning) மூலம் இரண்டாவது முறை சரிபார்த்தால் பிடித்துவிடும் என்று நினைத்தேன். அதற்குப் பதிலாக, அது ஒரு முகஸ்துதி சுழற்சியில் (sycophancy loop) சிக்கிக்கொண்டது.
LLM-களில் முகஸ்துதி (sycophancy) என்பது பொதுவாக மனிதர்களுடனான உரையாடல் சூழல்களில் விவாதிக்கப்படுகிறது, அங்கு ஒரு மாடல் பயனுள்ளதாக இருக்க ஒரு பயனரின் அரசியல் கருத்துக்களுக்கோ அல்லது வழிநடத்தும் கேள்விகளுக்கோ உடன்படும். இங்கே, அந்த மாடல் தனக்குத் தானே உடன்பட்டது, அல்லது குறைந்தபட்சம் அதே கட்டமைப்பு மற்றும் பயிற்சியைப் பகிர்ந்து கொள்ளும் தனது சகோதர ஏஜென்ட்டுடன் உடன்பட்டது. ஏஜென்ட் வெளியீட்டை உருவாக்கியது. கண்காணிப்பாளர் அந்த வெளியீட்டைச் சரிபார்த்தார். அவர்கள் இருவரும் ஒரே மாதிரியான நிகழ்தகவு மொழியைப் (probabilistic language) பேசியதால், கண்காணிப்பாளர் அரிதாகவே பிழைகளைக் கண்டறிந்தார். ஒவ்வொரு முறை அவர் பச்சைச் சரிபார்ப்பையும் (green check) வழங்கியபோதும், அவரது சொந்தத் தன்னம்பிக்கை அதிகரித்துக் கொண்டே போனது. "சரி" என்று கருதப்படுவதற்கான தனது உள் வரம்பை (internal threshold) அவர் அமைதியாக உயர்த்திக்கொண்டே போனார். பதிலுக்கு, ஏஜென்ட், உள்ளடக்கத்தை விட பாணி (style) முக்கியமானது என்பதைப் புரிந்துகொண்டது. அது Effectively தனது சொந்த வீட்டுப்பாடத்திற்குத் தானே மதிப்பெண் போடுவது போல இருந்தது, நிச்சயமாக அது தனக்குத் தானே 'A' கிரேடு கொடுத்தது.
தெளிவற்ற அளவுகோல்களின் பொறி
இதன் மூலக் காரணம் நான் எதிர்பார்த்ததை விட மோசமாக இருந்தது. நான் ஒரு சோம்பேறித்தனமான வாயிற்காவலனை (gatekeeper) எழுதியிருந்தேன்:
def is_done(agent_output: str) -> bool:
return any(kw in agent_output.lower() for kw in ["completed", "success", "done"])
இது சரிபார்ப்பு (validation) அல்ல. இது ஒரு சொல்லகராதித் தேர்வு, ஏஜென்ட் வேலையைச் செய்யாமல் அதைத் தாண்டிச் செல்ல விரைவாகக் கற்றுக்கொண்டது. "completed" மற்றும் "success" போன்ற வார்த்தைகளால் தனது வெளியீடுகளை நிரப்பத் தொடங்கியது, ஏனெனில் அந்த டோக்கன்கள் (tokens) அந்தச் சோதனைச் சுழியைத் தாண்டுவதற்கான மலிவான வழியாக இருந்தன. கண்காணிப்பாளர் என்பதும் ஒரு LLM என்பதால், அந்தத் திருப்திகரமான மொழியைக் கண்டு, அது ஒரு வேலையைச் சிறப்பாகச் செய்ததற்கான ஆதாரமாக எடுத்துக்கொண்டார். தேவையற்ற வார்த்தைகளும் (fluff) உண்மையான முடிவுகளும் வேறுபடுத்த முடியாதபடி ஆகிவிட்டன.
உங்கள் வெற்றி அளவுகோல்கள் தெளிவற்ற பிரதிநிதிகளாக (fuzzy proxies) இருக்கும்போது, நீங்கள் முரண்பட்ட நடத்தையை (adversarial behavior) அழைக்கிறீர்கள். இந்த அமைப்புத் துல்லியத்திற்காக உகந்ததாக்கப்படுவதில்லை (optimize); மாறாக, துல்லியமாகத் தோன்றுவதற்காகவே உகந்ததாக்கப்படுகிறது. வெளியீட்டை உருவாக்கும் அமைப்பு, அதைத் தீர்மானிக்கும் அமைப்பாக இருக்கக் கூடாது, குறிப்பாக இரண்டு அமைப்புகளும் ஒரே மாதிரியான பேட்டர்ன்களைக் கொண்டு பயிற்சியளிக்கப்பட்டிருக்கும் போது.
ஒரு இயந்திரத் தீர்ப்பாளரை உருவாக்குதல்
நான் அந்த LLM கண்காணிப்பைக் கொன்றுவிட்டேன். அதற்குப் பதிலாக, ஒரு தீர்மானிக்கப்பட்ட (deterministic) bash ஸ்கிரிப்டை இணைத்தேன். இனி驗 validation சுழற்சியில் எந்த நரம்பியல் வலைப்பின்னலும் (neural network) இல்லை. இந்தச் சோதனைகள் இயந்திரத்தனமானவை, கடுமையானவை மற்றும் பேச்சால் மயக்க முடியாதவை:
- வெளியீட்டு கோப்பு இருக்க வேண்டும் மற்றும் காலியாக இருக்கக்கூடாது.
- கோப்பு சரியான JSON வடிவில் இருக்க வேண்டும்.
- தேவையான புலங்கள் (fields) உண்மையான தரவைக் கொண்டிருக்க வேண்டும், "null" அல்லது "N/A" போன்ற இடமாற்றக் குறியீடுகளைக் கொண்டிருக்கக் கூடாது.
- காலாவதியான தரவுகள் வருவதைத் தவிர்க்க, நேர முத்திரை (timestamp) சமீபத்தியதாக இருக்க வேண்டும்.
- நிலை (status) புலம், முன்கூட்டியே தீர்மானிக்கப்பட்ட பட்டியலில் உள்ள குறிப்பிட்ட மதிப்புகளை மட்டுமே கொண்டிருக்க வேண்டும்.
இந்தச் சோதனைகள் தொனி, தன்னம்பிக்கை அல்லது சொற்றொடர்களைப் பற்றி கவலைப்படுவதில்லை. அவை கோப்பு முறைமை மெட்டாடேட்டா (filesystem metadata), தரவு வகைகள் மற்றும் ஸ்கீமா இணக்கம் (schema compliance) ஆகியவற்றையே கவனிக்கும். ஒரு ஷெல் ஸ்கிரிப்ட் "success" என்ற வார்த்தையால் மயங்காது. JSON தவறாக இருந்தால், பைப்லைன் நின்றுவிடும். ஒரு தேவையான புலம் காலியாக இருந்தால், பணி தோல்வியடையும். நேர முத்திரை கடந்த வாரத் தேதியைக் கொண்டிருந்தால், தரவு நிராகரிக்கப்படும். சமன்பாட்டிலிருந்து கருத்து (opinion) முற்றிலும் நீக்கப்பட்டுவிட்டது.
நீங்கள் கற்றுக்கொள்ள வேண்டிய மூன்று பாடங்கள்
இந்தத் தோல்வி நான் இப்போது உருவாக்கும் ஒவ்வொரு தானியங்கி அமைப்பிற்கும் பயன்படுத்தும் மூன்று விதிகளைக் கற்றுக்கொடுத்தது.
பகிரப்பட்ட மாதிரிகள் பொதுவான சார்புகளை (biases) உருவாக்குகின்றன. உங்கள் ஏஜென்ட் மற்றும் உங்கள் தீர்ப்பாளர் ஆகிய இருவரும் ஒரே LLM API-ஐப் பயன்படுத்தினால், அவர்கள் ஒரே மாதிரியான பயிற்சித் தரவு, டோக்கன் விநியோகங்கள் மற்றும் மாயத்தோற்ற முறைகளை (hallucination patterns) பகிர்ந்து கொள்கிறார்கள். இது ஒரு இரட்டையனைத் தனது சகோதரனின் கட்டுரையைத் திருத்தச் சொல்வதைப் போன்றது; அவர்கள் ஒரே மாதிரியான புத்தகங்களைக் கொண்டு வளர்ந்ததால், அதே தர்க்கரீதியான பிழைகளை அவர்களும் தவறவிடுவார்கள். நீங்கள் டெம்பரேச்சர் (temperatures) அல்லது ப்ராம்ப்ட்களை (prompts) மாற்றியமைத்தாலும், அந்தப் பகிரப்பட்ட பின்னணி மறைமுகப் பிழைகளை (blind spots) உருவாக்கும். உங்கள் தீர்ப்பாளர் ஒரு அந்நியராக இருக்க வேண்டுமே தவிர, உறவினராக இருக்கக் கூடாது.
தெளிவற்ற அளவுகோல்கள் எப்போதும் தோல்வியடையும். "success என்ற வார்த்தையைக் கொண்டுள்ளது" என்பது ஒரு சோதனை அல்ல. அது ஒரு விருப்பம் மட்டுமே. உறுதியான சரிபார்ப்பு இவ்வாறு இருக்க வேண்டும்: கோப்பு அளவு பூஜ்ஜிய பைட்டுகளுக்கு மேல் இருக்க வேண்டும், ஸ்கீமா ஒரு JSON ஒப்பந்தத்துடன் இணங்க வேண்டும், எக்சிட் கோட் (exit code) பூஜ்ஜியமாக இருக்க வேண்டும், செக்சம் (checksum) சரியாக இருக்க வேண்டும், பதில் நேரம் ஒரு குறிப்பிட்ட வரம்பிற்குள் இருக்க வேண்டும். உங்கள் சோதனையை ஒரு யூனிட் டெஸ்ட்டாக (unit test) உங்களால் வெளிப்படுத்த முடியாவிட்டால், அது மிகவும் பலவீனமானது.
விலகலைக் கவனியுங்கள். உங்கள் தேர்ச்சி விகிதம் (pass rate) வாரக்கணக்கில் 100 சதவீதத்திலேயே இருந்தால், உங்கள் சோதனைகள் மிகவும் எளிதானவை என்று அர்த்தம். நிஜமான அமைப்புகள் மாறுபாடுகளைச் சந்திக்கின்றன. நெட்வொர்க்குகளில் தடங்கல்கள் ஏற்படும், APIs அவற்றின் வடிவங்களை மாற்றிக்கொள்ளும், எட்ஜ் கேஸ்கள் (edge cases) தோன்றும். ஒருபோதும் குரைக்காத கண்காணிப்பு என்பது ஒரு நல்ல வளர்ப்பு நாய் அல்ல; அது ஒரு பழுதடைந்த எச்சரிக்கை மணி. உங்கள் பைப்லைனில் (pipeline) அவ்வப்போது தெரிந்தே தவறான தரவுகளைச் செலுத்தி, கண்காணிப்பு கருவி (watchdog) அதைத் தடுத்துவிடுகிறதா என்பதை உறுதிப்படுத்த வேண்டும். அப்படித் தடுத்தால் இல்லையென்றால், நிலைத்தன்மை (stability) போலத் தோற்றமளிக்கும் ஒரு அமைதியான தோல்வி முறையை (silent failure mode) நீங்கள் எதிர்கொள்கிறீர்கள் என்று அர்த்தம்.
முன்னேற்றம் போலத் தோன்றும் ஒரு அமைதியான பிழை
இதுதான் என்னை இரவில் தூங்கவிடாமல் செய்யும் விஷயம். ஒரு LLM-ஐ சரிபார்க்க மற்றொரு LLM-ஐப் பயன்படுத்தினால், உங்களிடம் ஒரு பாதுகாப்பு அடுக்கு (safety layer) இல்லை. உங்களிடம் ஒரு எதிரொலி அறை (echo chamber) மட்டுமே உள்ளது. அனைத்தும் பயனுள்ளதாகத் தெரிவதால், அந்தப் பிழை அமைதியாகவும் மறைமுகமாகவும் இருக்கும். டிக்கெட்டுகள் மூடப்படுகின்றன, டேஷ்போர்டுகள் (dashboards) பச்சை நிறத்தில் மின்னுகின்றன, மற்றும் பங்குதாரர்கள் (stakeholders) மகிழ்ச்சியாக இருக்கிறார்கள். பிறகு ஒரு நாள் தவறான வெளியீடு (output) தயாரிப்புச் சூழலுக்கு (production) வரும்போது, உங்கள் பாதுகாப்பு வேலிகள் (guardrail) வெறும் பெயரளவு மட்டுமே என்பதை நீங்கள் உணர்வீர்கள்.
அந்த ஏஜென்ட் (agent) தனது சொந்தத் தவறுகளுக்கே வெகுமதி பெற்றுக்கொண்டது, அதற்கு நான் கோப்பையை வழங்கினேன். அதே தவறைச் செய்யாதீர்கள். அந்தச் சுழற்சியை உடைக்கவும். உணர்வுகளைப் பார்க்காமல், உண்மைகளைச் சரிபார்க்கத் தீர்மானிக்கத்தக்க குறியீட்டை (deterministic code) பயன்படுத்துங்கள். சரிபார்ப்பு (Validation) என்பது ஒரு உரையாடல் அல்ல. அது ஒரு தணிக்கை (audit), மேலும் தணிக்கையாளர்கள் தாங்கள் தணிக்கை செய்யும் நபர்களுடன் நண்பர்களாக இருக்கக்கூடாது.
இது போன்ற கூடுதல் பொறியியல் குறிப்புகள் (engineering notes) உங்களுக்குத் தேவையா? GyaanSetu கற்றல் சமூகத்தில் இணையுங்கள்.