நாங்கள் மாடல்களை நம்புவதை நிறுத்தினோம். பிறகு எங்கள் சொந்த எண்களையும் நம்புவதை நிறுத்தினோம்.
நான் சிறந்த AI மாடல்களைத் தேடி ஓடுவதை நிறுத்தினேன். ஒரு வலிமையான மாடல் எனது அமைப்பைச் சரிசெய்துவிடும் என்று நான் நினைத்தேன். அது நடக்கவில்லை. பிரச்சனை மாடலில் இல்லை. பிரச்சனை அமைப்பில் (system) இருந்தது.
பிறகு அதைவிட மோசமான ஒன்றை நான் உணர்ந்தேன். எனது சொந்த அளவீடுகளையும் என்னால் நம்ப முடியவில்லை.
நான் மூன்று வெவ்வேறு தோல்விகளைக் கண்டேன்:
- தவறான சூழலை அளவிடும்போது வெற்றி பெற்ற ஒரு டெஸ்ட் சூட் (test suite).
- வேலையைத் தடுத்தும், தவறான புள்ளிவிவரங்களைக் கொடுத்த ஒரு கேட் (gate).
- தவறான எண்ணிக்கையைத் தெரிவித்த ஒரு ஏஜென்ட் (agent).
நான் உற்றுப் பார்க்கும் வரை ஒவ்வொரு தோல்வியும் வெற்றியைப் போலவே தோன்றியது. சரிபார்ப்பதற்கான எனது கருவிகள் என்னிடம் பொய் சொல்லிக் கொண்டிருந்தன.
அனைத்து நிச்சயமற்ற தன்மைகளையும் (uncertainty) தடை செய்வதே எனது முதல் எண்ணமாக இருந்தது. ஒவ்வொரு நிகழ்தகவுத் தன்மையையும் (probabilistic element) நீக்க விரும்பினேன். அனைத்தும் தீர்மானிக்கப்பட்டதாக (deterministic) இருக்க வேண்டும் என்று விரும்பினேன்.
அது ஒரு தவறு.
நீங்கள் அனைத்து நிச்சயமற்ற தன்மைகளையும் நீக்கிவிட்டால், AI-ன் மதிப்பையும் நீக்கிவிடுகிறீர்கள். யோசனைகளை முன்வைப்பதற்கும் தீர்வுகளை ஆராய்வதற்கும் தான் AI பயன்படுத்தப்படுகிறது. ஒரு கடுமையான விதியிலிருந்து அதை உங்களால் பெற முடியாது.
தீர்வானது நிச்சயமற்ற தன்மையைத் தடை செய்வதல்ல. அதைச் சரியான இடத்தில் வைப்பதே தீர்வாகும்.
ஒரு அமைப்பிற்கு இரண்டு வெவ்வேறு இடங்கள் (seats) தேவை:
முன்வைக்கும் இடம் (The Proposing Seat) இந்த இடம் ஆராய்கிறது மற்றும் பரிந்துரைக்கிறது. இதற்குத் தீர்மானிக்கப்படாத தன்மை (nondeterminism) தேவை. ஒரு மாடல் தவறான தீர்வைப் பரிந்துரைத்தால், அதன் பாதிப்பு குறைவு, ஏனெனில் அது இன்னும் எதையும் இறுதி செய்யவில்லை.
தீர்ப்பளிக்கும் இடம் (The Judging Seat) ஒரு சோதனை வெற்றியடைந்ததா அல்லது ஒரு விதி பூர்த்தி செய்யப்பட்டதா என்பதை இந்த இடம் தீர்மானிக்கிறது. இந்த இடம் கண்டிப்பாகத் தீர்மானிக்கப்பட்டதாக (deterministic) இருக்க வேண்டும். இது மீண்டும் உருவாக்கக்கூடியதாகவும் (reproducible) சரிபார்க்கக்கூடியதாகவும் இருக்க வேண்டும்.
எனது அமைப்பில் ஏற்பட்ட தோல்விகள், நான் தீர்ப்பளிக்கும் இடத்தில் தவறான விஷயங்களை வைத்ததால்தான் ஏற்பட்டன. நிச்சயமற்ற செயல்முறைகளை இறுதி முடிவுகளை எடுக்க நான் அனுமதித்தேன்.
விதி எளிமையானது:
- நிச்சயமற்ற பகுதிகள் ஆராயட்டும்.
- தீர்மானிக்கப்பட்ட பகுதிகள் தீர்ப்பளிக்கட்டும்.
முழு அமைப்பையும் உறுதியானது என்று மாற்ற முயற்சிக்காதீர்கள். அதற்குப் பதிலாக, உங்கள் தீர்ப்பளிப்பவர்கள் (judges) உறுதியானவர்கள் என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள். தவறான ஒரு தீர்மானிக்கப்பட்ட தீர்ப்பளிப்பவர், ஒரு நிகழ்தகவு அடிப்படையிலான தீர்ப்பளிப்பவரை விட மிகவும் ஆபத்தானவர். ஒரு தவறான தீர்ப்பளிப்பவர், நீங்கள் இறுதியில் கேள்வி கேட்கத் தொடராத ஒரு நிலையான பிழையை உருவாக்குகிறார்.
உங்களுக்கு நம்பிக்கையைத் தரும் ஒவ்வொரு அடுக்கையும் முதலில் அளவிட வேண்டும். அந்த அளவீடு நீங்கள் நேரில் காணக்கூடிய ஏதேனும் ஒரு தீர்மானிக்கப்பட்ட விஷயத்தைச் சார்ந்திருக்க வேண்டும்.
உங்கள் AI அமைப்புகளில் முன்வைப்பதற்கும் தீர்ப்பளிப்பதற்கும் இடையே நீங்கள் எவ்வாறு எல்லையை வகுக்கிறீர்கள்? எங்கே நீங்கள் தீர்மானிக்கப்பட்ட தன்மையை (determinism) வலியுறுத்துகிறீர்கள்?
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Optional learning community: https://t.me/GyaanSetuAi