𝗔𝗻𝘁𝗵𝗿𝗼𝗽𝗶𝗰 𝗻𝗲 𝗺𝗮𝗮𝗻𝘃𝗲𝗲 𝗯𝗮𝗮𝗷𝘂 𝗺𝗼𝗷𝗹𝗲𝗲. 𝗣𝗮𝗮𝗰𝗵 𝗼𝗽𝗲𝗿𝗮𝘁𝗼𝗿𝘀 𝗲𝗷𝗲𝗻𝘁 𝗯𝗮𝗮𝗷𝘂 𝘁𝗮𝘆𝗮𝗮𝗿 𝗸𝗮𝗿𝗮𝘁 𝗮𝗮𝗵𝗲𝗲𝘁.

Anthropic ने Claude Code वर नवीन संशोधन प्रसिद्ध केले आहे. त्यांनी २,३५,००० लोकांच्या ४,००,००० सेशन्सचा अभ्यास केला. त्यांचे निष्कर्ष दर्शवतात की मानवी तज्ज्ञता (expertise) एजंटच्या कामगिरीमध्ये कसा बदल घडवून आणते.

डेटा एक स्पष्ट नमुना दर्शवतो. तज्ज्ञ (Experts) प्रत्येक सूचनेनुसार अधिक काम पूर्ण करतात. नवशिक्यांच्या (novice) सेशन्सच्या तुलनेत तज्ज्ञांच्या सेशन्समध्ये प्रति प्रॉम्प्ट २.४ पट अधिक कृती (actions) होतात. तसेच, त्यांना ५ पट अधिक टेक्स्ट आउटपुट देखील पाहायला मिळते.

यश हे तुम्ही समस्या किती चांगल्या प्रकारे समजून घेता यावर अवलंबून असते. ते तुमच्या कोडिंग प्रशिक्षणावर अवलंबून नसते. तज्ज्ञता ही एजन्टिक (agentic) कामासाठी एक मल्टिप्लायर (multiplier) म्हणून काम करते.

Anthropic ने मानवी बाजू मोजली असली तरी, एक तफावत (gap) अजूनही आहे. त्यांनी एजंट बाजूचा अभ्यास केला नाही. मेमरी, स्टेट किंवा गव्हर्नन्स (governance) मुळे सेशन्समध्ये काम कसे एकत्रितपणे (compound) वाढू शकते, याचा त्यांनी विचार केला नाही.

पाच तज्ज्ञ (practitioners) या तफावतीवर उपाय शोधत आहेत. ते अशा आर्किटेक्चरवर लक्ष केंद्रित करत आहेत जे एजंटच्या 'रीझनिंग लूप'च्या (reasoning loop) बाहेर असते.

  • Rapls स्टेटस फील्ड्स आणि डिसिजन लॉग्सवर काम करत आहे.
  • Scarab Systems गव्हर्नड बेसलाईन्स आणि एन्फोर्समेंटवर लक्ष केंद्रित करते.
  • NOVAInetwork ऑपरेटर शिस्त (discipline) वाढवण्यासाठी 'कोरम'चा (quorum) वापर करते.
  • Raffaele Zarrelli स्लो लूप्समधील स्ट्रक्चरल प्रेशरचा अभ्यास करतो.
  • Brian Hall ओपन-सोर्स आर्किटेक्चरसह डिटरमिनिस्टिक गेट्स (deterministic gates) तयार करतो.

या पाच लोकांचा एकच निष्कर्ष आहे. LLM कल्पना सुचवते. डिटरमिनिस्टिक नियम त्यांची अंमलबजावणी करतात. मानव बदलांना (transitions) अधिकृत करतात. हे नियम एजंटच्या बाहेर असणे आवश्यक आहे.

जेव्हा मानव लूपमध्ये तज्ज्ञता आणतात तेव्हा काय होते, याचे मोजमाप Anthropic ने केले आहे. हा गट ती तज्ज्ञता विविध साधने आणि एजंट्समध्ये कशी टिकून राहील, यासाठी काम करत आहे.

दोन स्वतंत्र संकेत एकाच समस्येकडे वळत आहेत. ही केवळ एक 'ट्रेंड' नाही, तर आपण गोष्टी कशा तयार करतो, त्यामध्ये होणारा बदल आहे.

ऑपरेटर शिस्त (Operator discipline) आता वैयक्तिक वर्कफ्लोकडून मुख्य आर्किटेक्चरकडे वळत आहे. पुढे काय येईल, याचे तुम्हाला बांधकाम, मोजमाप आणि नियंत्रण (govern) करावे लागेल.

Source: https://www.anthropic.com/research/claude-code-expertise

Full post: https://dev.to/jugeni/anthropic-measured-the-human-side-five-operators-are-building-the-agent-side-17a0

Optional learning community: https://t.me/GyaanSetuAi