कोणताही एजंट स्वतःच्या कामाचे मूल्यमापन स्वतः करू नये

तुम्ही Claude ला तुमचा कोड रिव्ह्यू करायला सांगता. तो म्हणतो की कोड स्वच्छ (clean) दिसत आहे. अर्थातच तो तसे म्हणेल, कारण पाच मिनिटांपूर्वी तोच तो कोड लिहिला होता. तुम्ही लेखकालाच त्याच्या पेपरचे ग्रेडिंग करायला सांगितले आहे, आणि त्याने स्वतःला 'A' ग्रेड दिला आहे.

AI कोड रिव्ह्यू प्रभावी ठरतात. पण जेव्हा तुम्ही लेखकालाच त्याचे काम रिव्ह्यू करायला सांगता, तेव्हा ते अपयशी ठरतात. गुणवत्ता अशा आर्किटेक्चरमधून येते जिथे कोणताही रोल स्वतःची तपासणी स्वतः करत नाही.

२०२४ मधील संशोधन 'self-preference bias' (स्वतःला प्राधान्य देण्याचा पूर्वग्रह) दर्शवते. एखादे मॉडेल स्वतःच्या आउटपुटला समान दर्जाच्या इतर आउटपुटपेक्षा जास्त रेटिंग देते. मॉडेल स्वतःची शैली ओळखते आणि तिला प्राधान्य देते.

"लिखा आणि मग जे लिहिले तेच रिव्ह्यू करा" ही प्रक्रिया सदोष आहे. तुम्हाला रिव्ह्यू मिळत नाही, तर केवळ समर्थन (justification) मिळते. एजंटने आधीच ठरवले असते की कोड चांगला आहे. पुन्हा विचारल्याने केवळ त्या निर्णयाची पुष्टी होते.

अधिक चांगले एजंट वर्कफ्लो तयार करण्यासाठी या नियमांचे पालन करा:

  • रिव्ह्यूअर कधीही लेखक नसावा. शैली ओळखणे (style recognition) टाळण्यासाठी रिव्ह्यूअरसाठी वेगळ्या मॉडेल फॅमिलीचा वापर करा.
  • स्वच्छ कॉन्टेक्स्ट (clean context) वापरा. रिव्ह्यूअरने मूळ इम्प्लिमेंटेशन प्रॉम्प्ट किंवा लेखकाने ठरवलेले निर्बंध (constraints) पाहू नयेत.
  • ओळख काढून टाका. कोड कोणी लिहिला आहे हे रिव्ह्यूअरला सांगू नका. लेखकाची ओळख पूर्वग्रह (bias) निर्माण करते.
  • अति-फ्लॅगिंग (over-flagging) टाळा. AI रिव्ह्यूअर्स अनेकदा उपयुक्त दिसण्यासाठी काल्पनिक समस्या निर्माण करतात. यामुळे तुम्ही त्यांच्याकडे दुर्लक्ष करू लागता.

चुकीच्या सूचना (false alarms) थांबवण्यासाठी 'receipt rule' वापरा. प्रत्येक निष्कर्ष (finding) तुमच्यासमोर येण्यापूर्वी त्यात पुरावा असणे आवश्यक आहे.

जर रिव्ह्यूअरने SQL injection च्या जोखमीचा दावा केला, तर त्यांनी खालील गोष्टी देणे आवश्यक आहे:

  • युजर इनपुटचा grep.
  • क्वेरी फ्लोचा trace.

जर व्हॅल्यू 'constant' असेल, तर तो निष्कर्ष वगळा. जर ती HTTP रिक्वेस्टमधून येत असेल, तर तो ठेवा. निर्णयापूर्वी पुरावा असणे गरजेचे आहे.

गंभीर निष्कर्षांसाठी, संशयवादी तज्ज्ञांचा (panel of skeptics) गट वापरा. त्यांचे काम बगची पुष्टी करणे नाही, तर त्याला खोडून काढणे आहे. तो निष्कर्ष बग का नाही, हे सिद्ध करण्याचा प्रयत्न त्यांनी केला पाहिजे. जर बहुसंख्य लोक तो निष्कर्ष खोडून काढू शकले नाहीत, तरच तो ग्राह्य धरला जावा.

सत्य हे विरोधाभासातून येते, स्व-घोषणातून नाही.

अशी प्रणाली तयार करा जिथे भूमिका कधीही एकमेकांत मिसळणार नाहीत:

  • लेखक कोड लिहितो.
  • टेस्टर केवळ स्पेसिफिकेशननुसार (spec) टेस्ट लिहितो.
  • रिव्ह्यूअरने कोड लिहिलेला नसावा.
  • कोणताही माणूस किंवा LLM पाहण्यापूर्वी linting आणि टेस्ट्स सारखे वस्तुनिष्ठ निकष (objective gates) पूर्ण होणे आवश्यक आहे.

स्वतःलाच दुरुस्त करणारा सुधारक (corrector) काहीच दुरुस्त करू शकत नाही. AI रिव्ह्यूची गुणवत्ता तुम्ही त्याला स्वतःचे मूल्यमापन करण्यापासून किती वेळा रोखता यावर अवलंबून असते.

Source: https://dev.to/ohugonnot/no-agent-grades-its-own-homework-8lb

Optional learning community: https://t.me/GyaanSetuAi