ஒரு AI-ஆல் உருவாக்கப்பட்ட விளக்க அம்சத்தில் (AI-generated explanation feature), ஒரு ஒற்றை பாதுகாப்பு-கேட் அளவீடு (safety-gate metric) ஒரு நாள் முழுவதுமான செயலிழப்பை மறைத்துவிட்டதை நான் கண்டறிந்தேன். “கேட் நிராகரிப்பு” (gate rejection) மற்றும் “மாடல் லோட் தோல்வி” (model load failure) ஆகிய இரண்டையும் ஒரே மாதிரியாகக் கருதியதால், அந்த அளவீடு ஒரு தவறான ஆரோக்கியமான நிலையைத் தந்தது. அது நான்கு நிராகரிப்புகளைப் பதிவு செய்தது மற்றும் பூஜ்ஜியம் வெற்றிகளைப் பதிவு செய்தது, ஆனால் அந்த நேரத்தில் மாடல் ஒருமுறை கூட இயங்கவில்லை—இந்தத் தவறு இயக்குநர்களை (operators) ஒரு பழுதடைந்த அமைப்பைப் பற்றிய விழிப்புணர்வு இன்றி ทำให้ விடக்கூடியிருந்தது.
இந்த குழப்பம் எப்படி ஏற்பட்டது
இந்த அம்சம், இயந்திரத் தர்க்கத்தை (machine logic) மனிதர்கள் வாசிக்கக்கூடிய வாக்கியங்களாக மாற்ற ஒரு உள்ளூர் மொழி மாதிரியைப் (local language model) பயன்படுத்துகிறது. ஒரு பாதுகாப்பு கேட் (safety gate), முன் வரையறுக்கப்பட்ட விதிகளை மீறும் எந்தவொரு வெளியீட்டையும் தடுத்து நிறுத்துகிறது. தயாரிப்புச் சூழலில் (production), கேட் ஒரு வாக்கியத்தை நிராகரிக்கும் போதெல்லாம் அதிகரிக்கும் வகையில் ஒரு ஒற்றை கவுண்டரை (counter) நான் அமைத்திருந்தேன். ட்ரோன் நான்கு AI விளக்கங்களைப் பதிவு செய்தபோது, அந்த கவுண்டர் நான்கு நிராகரிப்புகளைக் காட்டியது மற்றும் வெற்றிகரமான வெளியீடுகள் ஏதுமில்லை என்று தெரிவித்தது. கேட் தனது வேலையைச் செய்கிறது என்று நான் நினைத்தேன், அம்சம் செயலிழந்துவிட்டது என்று நினைக்கவில்லை.
அந்த கவுண்டர் மறைத்திருந்தது ஒரு இருநிலைத் தோல்வியாகும்:
- மாடல் இயங்கவில்லை – மாடல் மற்ற அமைப்புகளுடன் ஒரே இயந்திரத்தைப் பகிர்ந்து கொள்கிறது. நினைவகத்தைச் சேமிக்க, பயன்பாட்டில் இல்லாதபோது ஹோஸ்ட் (host) அதை அன்லோட் (unload) செய்கிறது.
- மீண்டும் ஏற்றும்போது காலாவதி (Timeout on reload) – ஒரு புதிய அச்சுறுத்தல் தோன்றியபோது, கணினி சுமார் இரண்டு ஜிகாபைட் மாடல் தரவை மீண்டும் ஏற்ற முயன்றது. இந்த செயல்முறை முப்பது வினாடி காலக்கெடுவைத் (timeout) தாண்டிவிட்டதால், கோரிக்கை காலாவதியாகி ஒரு வெற்றுப் பதிலைத் தந்தது.
கேட் நிராகரிப்பையும், காலாவதியால் ஏற்பட்ட வெற்றுப் பதிலையும் ஒரே நிகழ்வாக அந்த கவுண்டர் கருதியதால், AI அம்சம் உண்மையில் செயலிழந்திருந்தாலும், டேஷ்போர்டு “பாதுகாப்பு கேட் இயங்குகிறது” என்று காட்டியது.
இது ஏன் முக்கியமானது
AI-ஆல் இயக்கப்படும் தயாரிப்புகளில், பாதுகாப்பு கேட்கள் தீங்கு விளைவிக்கும் அல்லது அர்த்தமற்ற வெளியீடுகளைத் தடுக்கின்றன. இயக்குநர்கள் அந்த கேட்டின் வெளியீட்டு விகிதத்தை (fire rate) ஒரு ஆரோக்கியமான அறிகுறியாகக் கண்காணிக்கிறார்கள். அந்த அறிகுறி தொடர்பற்ற தோல்வி முறைகளுடன் இணையும் போது, அந்த அளவீடு ஒரு அமைதியான பொய்யாக மாறுகிறது: சேவை கிடைக்காத போதும் அது ஒரு பாதுகாப்பான உணர்வைத் தருகிறது.
பார்வைத்திறனை மீட்டெடுத்த தீர்வு
நான் மூன்று நடைமுறை மாற்றங்களைச் செய்தேன்:
- மாடலை நினைவகத்திலேயே வைத்திருத்தல் (Keep the model resident) – ரீலோட் தாமதத்தைத் தவிர்க்க, மாடலை நினைவகத்திலேயே வைத்திருக்க ஹோஸ்ட்டை மாற்றியமைத்தேன்.
- காலக்கெடுவை நீட்டித்தல் (Extend the timeout) – அவ்வப்போது ஏற்படும் மெதுவான லோடுகளைக் கையாள பதிலளிக்கும் கால அவகாசத்தை அதிகரித்தேன்.
- கவுண்டரைத் தனித்தனியாகப் பிரித்தல் (Split the counter) – ஒற்றை “கேட்டால் நிராகரிக்கப்பட்டது” (rejected by gate) அளவீட்டிற்குப் பதிலாக, நான்கு தனித்தனி கவுண்டர்களைப் பயன்படுத்தினேன்: ஏற்றுக்கொள்ளப்பட்டது (accepted), நிராகரிக்கப்பட்டது (rejected), வெற்றுப் பதில் (empty response), மற்றும் பதில் இல்லை (no answer).
மூன்றாவது படிநிலை தீர்வைத் தீர்மானிக்கும் வகையில் அமைந்தது. ஒரு விஷயத்தை இரு வேறு விதமாகப் புரிந்துகொள்ளக்கூடிய ஒற்றை எண்ணிற்குப் பதிலாக, இந்த நான்கு பாகங்களாகப் பிரிக்கப்பட்ட விவரம், பாதுகாப்பு கேட் செயல்பாட்டில் உள்ளதா, மாடல் பதிலளிக்கிறதா அல்லது கோரிக்கை மாடலைச் சென்றே அடையவில்லையா என்பதைக் காட்டுகிறது.
சமரசங்கள் மற்றும் எதிர் வாதங்கள் (Trade-offs and counter-arguments)
அடுத்து கவனிக்க வேண்டியவை
AI கூறுகளை அறிமுகப்படுத்தும் டெவலப்பர்கள், பாதுகாப்புச் சோதனைகளையும் கணினி அளவிலான தோல்விகளையும் ஒன்றாக இணைக்கும் எந்தவொரு ஒருங்கிணைக்கப்பட்ட கவுண்டர்களையும் (aggregated counters) தணிக்கை செய்ய வேண்டும். ஒவ்வொரு கோரிக்கையின் பாதையை—மாடல் லோட் தொடக்கம், கேட் மதிப்பீடு, இறுதி முடிவு—பதிவு செய்யும் விரிவான வரலாற்றுப் பதிவை (history log) உருவாக்குவது, மறைந்திருக்கும் சிக்கல்களைக் கண்டறியத் தேவையான தடயவியல் தரவை (forensic data) வழங்கும்.
முக்கியக் கருத்து (Takeaway): ஒரு ஒற்றை “கேட்-நிராகரிப்பு” அளவீடு செயலிழந்த ஒரு AI சேவையை மறைக்கக்கூடும்; அந்த அளவீட்டை அதன் கூறுகளாகப் பிரிப்பதன் மூலம் உண்மையை அறியலாம் மற்றும் உண்மையில் வேலை செய்யாத ஒரு அமைப்பின் மீது தவறான நம்பிக்கையைத் தவிர்க்கலாம்.