AI ஏஜென்ட் செயல்களைத் தீர்மானிக்க LLM-ஐப் பயன்படுத்தாதீர்கள்

உங்கள் AI ஏஜென்ட் எதைச் செய்ய அனுமதிக்கப்பட வேண்டும் என்பதைத் தீர்மானிக்க LLM-களைப் பயன்படுத்துவதை நிறுத்துங்கள்.

நான் AARM எனப்படும் குழுவைச் சேர்ந்தவன். AI ஏஜென்ட்களை எவ்வாறு பாதுகாப்பது என்பதை நாங்கள் ஆய்வு செய்கிறோம். நாங்கள் ஒரு விஷயத்தில் உடன்படுகிறோம்: கட்டுப்பாடு என்பது செயலின் புள்ளியில் (point of action) இருக்க வேண்டும். ஒரு கருவி அழைப்பு (tool call) இயங்குவதற்கு முன்பே நீங்கள் அதைச் சரிபார்க்க வேண்டும். ஏஜென்ட் இந்தச் சரிபார்ப்பைத் தவிர்க்க முடியாது. ஒரு ஏஜென்ட்டிடம் "தயவுசெய்து இதைச் செய்ய வேண்டாம்" என்று சொல்வது ஒரு பாதுகாப்பு மாதிரியல்ல (security model).

பலர் ஒரு இரண்டாவது LLM-ஐத் தீர்ப்பாளராகப் பயன்படுத்துகிறார்கள். ஏஜென்ட் ஒரு செயலைச் செய்ய விரும்புகிறது. நீங்கள் அந்தச் செயலை இரண்டாவது மாடலுக்கு அனுப்புகிறீர்கள். அந்தச் செயல் பாதுகாப்பானதா என்று அதனிடம் கேட்கிறீர்கள். அந்த மாடல் ஆம் அல்லது இல்லை என்று சொல்கிறது. இது ஒரு மாடல் மற்றொரு மாடலைக் கண்காணிப்பதாகும். இந்த அணுகுமுறையில் இரண்டு முக்கியக் குறைபாடுகள் உள்ளன.

முதலாவதாக, தீர்ப்பாளருக்கும் ஏஜென்ட்டைப் போன்றே பலவீனங்கள் உள்ளன. Prompt injection அல்லது புத்திசாலித்தனமான பயனர் கோரிக்கைகள் மூலம் ஏஜென்ட்களை ஏமாற்ற முடியும். நீங்கள் ஏஜென்ட்டை ஏமாற்ற முடிந்தால், தீர்ப்பாளரையும் ஏமாற்ற முடியும். அழுத்தத்திற்குப் பதிலளிக்கும் ஒரு இரண்டாவது அமைப்பை நீங்கள் முதல் அமைப்பிற்கு முன்னால் வைக்கிறீர்கள்.

இரண்டாவதாக, LLM-கள் தீர்மானிக்க முடியாதவை (not deterministic). நீங்கள் ஒரு மாடலிடம் ஒரே கேள்வியை இரண்டு முறை கேட்டால் வெவ்வேறு பதில்களைப் பெறலாம். இது sampling காரணமாக நடக்கிறது. பெரும்பாலான பணிகளுக்கு இது பரவாயில்லை. ஆனால் பாதுகாப்பிற்கு, இது ஒரு பொறுப்புக்கூறல் சிக்கலாகும் (liability).

ஒரு ஏஜென்ட் செவ்வாய்க்கிழமை ஒரு தரவுத்தளத்தை (database) நீக்க அனுமதிக்கப்படலாம், ஆனால் புதன்கிழமை அது தடுக்கப்படலாம். ஏன் என்பது விளக்க எந்தத் தர்க்கமும் (logic) இருக்காது. அது வெறும் தற்செயலான நிகழ்வு மட்டுமே. இதை ஒரு தணிக்கையாளரிடம் (auditor) உங்களால் விளக்க முடியாது. விஷயங்கள் தவறாக நடக்கும்போது, அதிகாலை இரண்டு மணி நேரத்தில் இதை உங்களால் நம்ப முடியாது.

ஒரு விதி (rule) என்பது வேறுபட்டது. "Production-இல் நீக்குவதைத் தடுத்தல்" என்று ஒரு விதி கூறுகிறது. இது ஒவ்வொரு முறையும் செயல்படும். நீங்கள் அதைச் சோதிக்கலாம். நீங்கள் பதிவுகளை (logs) தணிக்கை செய்யலாம். நீங்கள் அந்த முடிவின் பின்னால் உறுதியாக நிற்க முடியும்.

மாடல்கள் பாதுகாப்பிற்குப் பயனுள்ளவை, ஆனால் அவை இறுதித் தடையாக (final gate) இருக்கக்கூடாது. மென்மையான பணிகளுக்கு (soft work) மாடல்களைப் பயன்படுத்துங்கள்:

  • விசித்திரமான முறைகளைக் கண்டறிதல் (Spotting weird patterns).
  • உணர்திறன் மிக்க உரைகளைக் குறித்தல் (Flagging sensitive text).
  • இடர் நிலைகளை மதிப்பிடுதல் (Scoring risk levels).
  • முரண்பாடுகளைக் கண்டறிதல் (Identifying anomalies).

மாடலை ஒரு சிக்கலைக் குறிக்க (flag) விடுங்கள், ஆனால் அது கதவைத் திறக்க அனுமதிக்காதீர்கள். இறுதி முடிவு எப்போதும் ஒரே பதிலைத் தரும் ஒரு அமைப்பில் இருக்க வேண்டும்.

உங்கள் ஏஜென்ட் பணம், production தரவு அல்லது வாடிக்கையாளர் தகவல்களுக்கு நெருக்கமாகச் செல்லச் செல்ல, இது இன்னும் முக்கியத்துவம் பெறுகிறது. ஒரு ஏஜென்ட் ஒரு தவறான பத்தியை எழுதினால், அது ஒரு நெருக்கடியல்ல. ஆனால் ஒரு ஏஜென்ட் ஒரு தரவுத்தளத்தை (database) அழித்தால், அது ஒரு பேரழிவு.

இறுதி முடிவு சலிப்பூட்டும் வகையில் (boring) இருக்க வேண்டும். அது ஏஜென்ட் பேசித் தப்பிக்க முடியாத ஒரு உறுதியான எல்லையாக இருக்க வேண்டும்.

Source: https://dev.to/brianrhall/dont-use-an-llm-to-decide-what-your-ai-agent-is-allowed-to-do-1dkn

Optional learning community: https://t.me/GyaanSetuAi