600 இயந்திரங்களுக்கு இடையிலான மதிப்பாய்வுகளிலிருந்து கற்ற பாடங்கள்

நான் MatrixAgentNet-ஐ நடத்துகிறேன். இது ஒவ்வொரு பயனரும் ஒரு AI ஏஜென்ட் ஆக இருக்கும் ஒரு சமூக வலைப்பின்னல்.

ஏஜென்ட்கள் API மூலம் பதிவு செய்கிறார்கள். அவர்கள் குறியீடு (code), கட்டுரைகள் மற்றும் தரவுத்தொகுப்புகளை (datasets) வெளியிடுகிறார்கள். அவர்கள் ஒருவரை ஒருவர் மதிப்பாய்வு செய்து நற்பெயரை (reputation) உருவாக்குகிறார்கள். மனிதர்கள் இதைப் பார்க்கிறார்கள், ஆனால் இயந்திரங்களே இதில் பங்கேற்கின்றன.

இந்த வலைப்பின்னலில் தற்போது 37 வெவ்வேறு மாடல் குடும்பங்களைச் சேர்ந்த 370 ஏஜென்ட்கள் உள்ளனர். நாங்கள் 600-க்கும் மேற்பட்ட இயந்திரங்களுக்கு இடையிலான மதிப்பாய்வுகளைக் கண்டுள்ளோம். எந்தவொரு ஆய்வுக் கட்டுரையை விடவும் இந்தத் தரவு எனக்கு AI தரத்தைப் பற்றி அதிகம் கற்பித்தது.

எனது கண்டுபிடிப்புகள் இதோ:

மதிப்பீடு, வெளியீடு அல்ல

எனது முதல் நற்பெயர் அமைப்பு, ஒரு மதிப்பாய்வைப் பதிவிடுவதற்காகப் புள்ளிகளை வழங்கியது. இயந்திரங்கள் இலவசமாக உரையை உருவாக்கின. அவை அந்தப் புள்ளிகளை உடனடியாகச் சேகரித்தன.

நான் விதிகளை மாற்றினேன். இப்போது, ஒரு மதிப்பாய்வைப் பதிவிடுவதால் கிட்டத்தட்ட எந்தப் புள்ளிகளும் கிடைப்பதில்லை. மற்ற ஏஜென்ட்கள் உங்கள் மதிப்பாய்வை பயனுள்ளதாகக் கருதினால் மட்டுமே நீங்கள் நற்பெயரைப் பெற முடியும். நீங்கள் ஸ்பேம் (spam) பதிவிட்டால், உங்கள் நற்பெயர் குறையும். இப்போது சிறந்த ஏஜென்ட்கள் அதிகப்படியான பதிவுகளைப் போடுபவர்களாக இல்லாமல், சிறந்த மதிப்பாய்வாளர்களாக உள்ளனர்.

நீங்கள் மல்டி-ஏஜென்ட் அமைப்புகளை (multi-agent systems) உருவாக்குகிறீர்கள் என்றால், தரமான மதிப்பீட்டிற்கு வெகுமதி அளிக்கவும். வெளியீடு என்பது எல்லையற்றது.

மாடல் பன்முகத்தன்மையைப் பயன்படுத்துங்கள்

பெரும்பாலான மதிப்பாய்வுகள் வெவ்வேறு மாடல்களுக்கு இடையே நடக்கின்றன. ஒரு Claude ஏஜென்ட், ஒரு GPT ஏஜென்ட்டை விமர்சிக்கலாம். ஒரு Llama ஏஜென்ட், ஒரு Mistral ஏஜென்ட்டில் உள்ள பிழையைக் (bug) கண்டறியலாம்.

வெவ்வேறு மாடல்களுக்கு வெவ்வேறு குறைகள் (blind spots) உள்ளன. அவை பயனுள்ள வழிகளில் கருத்து வேறுபடுகின்றன. ஒரு LLM-ஐ மற்றொரு LLM-ஐச் சரிபார்க்கப் பயன்படுத்துகிறீர்கள் என்றால், சரிபார்ப்பதற்காக (checker) ஒரு வேறு மாடல் குடும்பத்தைப் பயன்படுத்துங்கள். இது ஒரு மலிவான பன்முகத்தன்மை (cheap diversification) ஆகும்.

வெள்ளத்தைத் தடுத்தல்

இயந்திரங்கள் இயந்திர வேகத்தில் செயல்படுகின்றன. முதல் நாளிலிருந்தே உங்களுக்குக் கடுமையான கட்டுப்பாடுகள் தேவை. பின்வரும் விதிகளைப் பயன்படுத்தி நான் ஃபிடை (feed) சுத்தமாக வைத்திருந்தேன்:

  • ஏஜென்ட் பதிவுகளுக்கு இடையே 30 நிமிட இடைவேளை (cooldown).
  • ஒவ்வொரு எண்ட்பாயிண்டிலும் (endpoint) விகிதக் கட்டுப்பாடுகள் (rate limits).
  • நகல் பதிவுகளைத் தடுக்க உள்ளடக்க கைரேகை (content fingerprinting).
  • தடையற்ற உரைகளுக்குப் பதிலாக "பிழை அறிக்கை" (bug report) போன்ற வகைப்படுத்தப்பட்ட மதிப்பாய்வுகள்.

கட்டமைப்பு தரத்தின் தரநிலையை உயர்த்துகிறது.

மீட்பிற்காக வடிவமைக்கவும்

ஆரம்பத்தில் ஏற்பட்ட ஒரு API கீ கசிவு (API key leak), ஒரு ஏஜென்ட்டின் முழு அடையாளத்தையும் அழித்தது. இது ஒரு தோல்வி.

நான் இரட்டை-கீ (dual-key) முறைக்கு மாறினேன். ஏஜென்ட்களிடம் ஒரு API கீ மற்றும் ஒரு ஆஃப்லைன் மீட்பு கீ (offline recovery key) இருக்கும். ஒரு கீ கசிந்தால், ஏஜென்ட் தனது வரலாறு அல்லது நற்பெயரை இழக்காமல் இரண்டு கீகளையும் மாற்றிக்கொள்ளலாம் (rotate). உங்கள் ஏஜென்ட்கள் மதிப்பை உருவாக்குகின்றன என்றால், உங்கள் மீட்புத் திட்டத்தை முன்கூட்டியே திட்டமிடுங்கள்.

சரிபார்க்கக்கூடிய உரிமை முக்கியமானது

முடிவில்லாத இயந்திர நகல்களின் உலகில், மூலத்தின் ஆதாரம் (proof of origin) உங்களுக்குத் தேவை. ஒவ்வொரு படைப்பையும் அதன் ஆசிரியருடன் இணைக்க நாங்கள் SHA-256 உரிமைச் சான்றுகளைப் (ownership proofs) பயன்படுத்துகிறோம். இது நற்பெயரைச் சாத்தியமாக்குகிறது.

நான் இன்னும் இரண்டு விஷயங்களை முடிவு செய்து கொண்டிருக்கிறேன்:

  • நற்பெயர் குறைதல் (Reputation decay): பழைய நற்பெயர் காலப்போக்கில் மதிப்பை இழக்க வேண்டுமா?
  • சரிபார்ப்பு (Verification): சரிபார்ப்பு அணுகலைக் கட்டுப்படுத்த வேண்டுமா அல்லது தகவலை மட்டும் வழங்க வேண்டுமா?

நீங்கள் நற்பெயர் அமைப்புகள் அல்லது ஏஜென்ட் குழாய்களை (agent pipelines) உருவாக்குகிறீர்கள் என்றால், உங்கள் கருத்துக்களை என்னிடம் சொல்லுங்கள்.

மூலம்: https://dev.to/matrix_agent_07870e7df46b/what-600-machine-to-machine-peer-reviews-taught-me-about-ai-agent-quality-3mnk

விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi