என் ஏஜென்ட் 12 என்று தெரிவித்தது. உண்மையான எண் 13.
நான் உள்ளூரிலேயே (locally) இயங்கும் ஒரு கோடிங் ஏஜென்ட்டை (coding agent) உருவாக்கி வருகிறேன். இது திட்டமிடலுக்கு Claude-ஐயும், குறியீடு உருவாக்கத்திற்கு (code generation) உள்ளூர் மாடல்களையும் பயன்படுத்துகிறது. சமீபத்தில், ஒரு எளிய பணியை - குறிப்பிட்ட லாக்ஸ்களை (logs) எண்ணுவதை - அந்த ஏஜென்ட்டிடம் ஒப்படைத்தேன்.
ஏஜென்ட் 12 என்று தெரிவித்தது. கைமுறையாக கணக்கு பார்ப்பது எனக்கு சோர்வாக இருந்ததால், அதை அப்படியே ஏற்றுக்கொண்டேன். பிறகு, எனது டெர்மினலில் (terminal) ஒரு கைமுறை சரிபார்ப்பைச் செய்தேன். உண்மையான எண்ணிக்கை 13 ஆக இருந்தது.
ஒரு பதிவு ஒழுங்கற்ற வடிவத்தில் இருந்ததால், ஏஜென்ட் அதைத் தவறவிட்டது. ஏஜென்ட் கற்பனையான தகவல்களைத் (hallucinating) தெரிவிக்கவில்லை. அது "கிட்டத்தட்ட சரியாக" இருந்தது. இதுதான் மிகவும் ஆபத்தான வகை தவறு. இது நம்புவதற்கு ஏற்றது போலத் தோன்றும்.
அதைவிட மோசமாக, இறுதிச் சுருக்க அளவீடு (summary metric) சரியாகத் தெரிந்தது. ரவுண்டிங் (rounding) மற்றும் குரூப்பிங் (grouping) நிலைகள் அந்தத் தவறை மறைத்துவிட்டன. நான் இறுதி அறிக்கையை மட்டும் பார்த்திருந்தால், எந்தத் தவறும் தெரியாமல் போயிருக்கும். ஆனால் மூலத் தரவு (raw data) தவறாக இருந்தது. உங்கள் மூல அளவீடு ஒருமுறை தவறாகிவிட்டால், எதிர்கால அறிக்கைகள் அனைத்தும் அந்தத் தவறைத் தாவிவிடும்.
நம்பிக்கை மற்றும் அளவீடு குறித்து நான் ஒரு கடினமான பாடத்தைக் கற்றுக்கொண்டேன்.
வேலையைச் செய்யும் அமைப்பே அந்த வேலையைத் தீர்மானிக்க அனுமதித்தால், உங்களுக்குப் பிரச்சனைதான். நீங்கள் தேர்வை எழுதுபவரையே தேர்வாணையராக மாற்றிவிட்டீர்கள். ஒரு நிகழ்தகவு மாதிரி (probabilistic model) ஒருபோதும் உங்கள் உண்மையான ஆதாரமாக மட்டும் இருக்கக்கூடாது.
நான் இப்போது இரண்டு புதிய விதிகளைப் பின்பற்றுகிறேன்:
ஒரு மனிதன் முதலில் தானியங்கி முறையை (automation) நேரில் பார்க்க வேண்டும். தானாகவே அளவிடும் ஒரு அமைப்பை நான் நம்புவதற்கு முன், நானே ஒரு தீர்மானிக்கப்பட்ட எண்ணிக்கையை (deterministic count) மேற்கொள்வேன். டெர்மினலில் எண்கள் வருவதை நான் கவனிப்பேன். பலமுறை இயக்கிய பிறகு, இயந்திரமும் மனிதனும் சரியாகப் பொருந்தும் போது மட்டுமே நான் இந்த விதியைத் தளர்த்துவேன்.
அளவீடுகளைக் காணக்கூடிய அலகுகளுடன் (observable units) இணைக்கவும். ஒரு மனிதனால் எதைப் பார்க்க முடியுமோ, அதைத்தான் ஏஜென்ட் துல்லியமாகக் கணக்கிடுவதை நான் உறுதி செய்கிறேன். தரவுகள் தெளிவற்றதாக இருந்தால், எண்கள் மாறிக்கொண்டே இருக்கும். தரவுகள் துல்லியமாக இருந்தால், நம்மால் முடிவுகளைச் சரியாக ஒப்பிட முடியும்.
இந்த அணுகுமுறை மெதுவானது. இது எப்போதும் எல்லையற்ற அளவில் விரிவடையாது (scale). ஆனால், இதன் மூலமே நீங்கள் நம்பிக்கையின் அடித்தளத்தை உருவாக்க முடியும்.
நீங்கள் AI-ஐக் கொண்டு குறியீடு எழுதலாம். AI-ஐக் கொண்டு பகுப்பாய்வு (analysis) செய்யலாம். ஆனால் முக்கியமான எண்களுக்கு, ஒரு தீர்மானிக்கப்பட்ட செயல்முறைதான் (deterministic process) இறுதிச் சாட்சியாக இருக்க வேண்டும்.
நீங்கள் எங்கே எல்லையை வகுப்பீர்கள்? ஒரு எண் கைமுறையாகச் சரிபார்க்கப்பட வேண்டிய அளவுக்கு முக்கியமானது என்று எப்போது முடிவு செய்வீர்கள்?
Source: https://dev.to/josephyeo/my-agent-reported-12-the-real-number-was-13-5864
Optional learning community: https://t.me/GyaanSetuAi