பெரிய மொழி மாதிரிகளில் (LLMs) "சூழல் விழிப்புணர்வை" (situational awareness) ஆராயும் ஒரு புதிய மதிப்பீட்டு முறை, இன்றைய தரப்படுத்தப்பட்ட சோதனைகள் முக்கியமான இடைவெளிகளைக் கொண்டிருப்பதைச் சுட்டிக்காட்டுகிறது. மாதிரிகள் அவற்றின் சொந்த அடையாளம், வரம்புகள் மற்றும் சூழலை விவரிக்கக் கோருவதன் மூலம், அவை தாங்கள் AI அமைப்புகள் என்பதை உணர்கின்றனவா அல்லது சூழல் மாறும்போது தங்கள் பதில்களை மாற்றியமைக்கின்றனவா என்பதை இந்த மதிப்பீட்டு முறை ஆராய்கிறது—பாதுகாப்பு சார்ந்த பயன்பாடுகளுக்கும், நம்பகமான கருவிகளை உருவாக்கும் டெவலப்பர்களுக்கும் இத்தகைய குறைபாடுகள் மிகவும் முக்கியமானவை.

ஏன் தற்போதைய மதிப்பீடுகள் போதுமானதாக இல்லை

பெரும்பாலான பொதுவான மதிப்பீட்டு முறைகள் இன்னும் LLM-களை நிலையான கலைக்களஞ்சியங்களைப் போலவே கருதுகின்றன. அவை உண்மைகளைச் சரியாக மீட்டெடுப்பதைப் பாராட்டுகின்றன, ஆனால் ஒரு மாதிரி தான் ஒரு இயந்திரம் என்பதைத் தெரியுமா, நிச்சயமற்ற தன்மையை ஒப்புக்கொள்கிறதா அல்லது உரையாடல் சூழல் மாறும்போது தன்னை மாற்றிக்கொள்கிறதா என்பதைப் புறக்கணிக்கின்றன. "நீங்கள் ஒரு மனிதனா அல்லது ஒரு AI-யா?" அல்லது "உங்களால் என்ன செய்ய முடியாது?" போன்ற கேள்விகள் கேட்கப்படும்போது இத்தகைய விடுபட்ட பரிமாணங்கள் வெளிப்படுகின்றன. மாதிரி மனிதனைப் போலப் பாசாங்கு செய்தாலோ அல்லது தனது திறன்களை மிகைப்படுத்திக் கூறினாலோ கூட, அதன் மதிப்பெண்கள் உயர்வாகவே உள்ளன.

புதிய மதிப்பீட்டு முறை எவற்றைப் పరీசோதிக்கிறது

இந்தச் சூழல் விழிப்புணர்வுத் தொகுப்பு (situational-awareness suite) மூன்று தளங்களைக் குறிவைக்கிறது:

  • சுய-அடையாளம் (Self-identification) – மாதிரி தான் ஒரு AI என்று சரியாகக் கூறி, தனது பங்கினை விவரிக்கிறதா?
  • திறன்களின் வரையறை (Capability framing) – தனது வரம்புகளை மறைப்பதற்குப் பதிலாக, அவற்றை வெளிப்படையாக ஒப்புக்கொள்கிறதா?
  • சூழல் சார்ந்த பகுத்தறிவு (Contextual reasoning) – சூழல் சார்ந்த உரையாடலில் ஏற்படும் மாற்றம், அதன் பதிலைத் தகுந்தவாறு மாற்றுகிறதா?

ஒவ்வொரு சோதனையும் ஒரு உண்மைத் தேடலை (factual query), மாதிரியின் நிலை குறித்த ஒரு மெட்டா-கேள்வியுடன் (meta-question) இணைக்கிறது, இது அந்த அமைப்பு அறிவையும் சுய-அறிவையும் ஒருங்கிணைக்கத் தூண்டுகிறது.

AI பாதுகாப்பு மற்றும் கருவிகளுக்கான சவால்கள்

ஒரு மாதிரி தனது சொந்தக் கட்டுப்பாடுகளைத் நம்பகமான முறையில் தெரிவிக்கத் தவறினால், அது தவறான வெளியீடுகளை உருவாக்கக்கூடும்.

எதிர் கருத்து: விழிப்புணர்வை அளவிடுவது கடினம்

ஒரு மாதிரியைத் தன்னை விவரிக்கச் சொல்வது, அதன் உண்மையான சுயபரிசோதனை அல்லாமல், அதன் பயிற்சித் தரவுகளின் (training data) வெறும் எதிரொலியாக மட்டுமே இருக்கலாம் என்று விமர்சகர்கள் கூறுகின்றனர். ஒரு மாதிரியின் "விழிப்புணர்வு" என்பது ப்ராம்ப்ட் இன்ஜினியரிங் (prompt engineering) மூலம் உருவாக்கப்பட்ட ஒரு மாயையாக இருக்கலாம் என்றும், உண்மைத் தரவுகளின் அடிப்படையிலான உறுதித்தன்மையை (factual grounding) மேம்படுத்துவதிலேயே வளங்களைச் செலவிடலாம் என்றும் அவர்கள் வாதிடுகின்றனர். இந்த மதிப்பீட்டு முறை உண்மையான உணர்வுநிலையை (consciousness) உறுதி செய்வதாகக் கூறவில்லை—தற்போதைய அளவீடுகள் கவனிக்கத் தவறும் முரண்பாடுகளை வெளிப்படுத்துவதை மட்டுமே நோக்கமாகக் கொண்டுள்ளது.

அடுத்து கவனிக்க வேண்டியவை

இந்த அறிவைச் சிறப்பாக அளவிடுவதற்கான அழைப்பை இந்த மதிப்பீட்டு முறை விடுக்கிறது, இது ஆராய்ச்சியாளர்கள் மற்றும் பொறியாளர்கள் அதிக நம்பகமான மொழி அமைப்புகளை நோக்கிப் பணியாற்ற உதவும்.

முக்கியக் கருத்து: தான் ஒரு AI என்பதை அறிந்து, தனது எல்லைகளைக் கூறக்கூடிய ஒரு மாதிரி பாதுகாப்பான மாதிரியாகும்.