𝗔𝗻𝘁𝗵𝗿𝗼𝗽𝗶𝗰 𝗠𝗲𝗮𝘀𝘂𝗿𝗲𝗱 𝗧𝗵𝗲 𝗛𝘂𝗺𝗮𝗻 𝗦𝗶𝗱𝗲. 𝗙𝗶𝘃𝗲 𝗢𝗽𝗲𝗿𝗮𝘁𝗼𝗿𝘀 𝗔𝗿𝗲 𝗕𝘂𝗶𝗹𝗱𝗶𝗻𝗴 𝗧𝗵𝗲 𝗔𝗴𝗲𝗻𝘁 𝗦𝗶𝗱𝗲.

Anthropic ने Claude Code पर नया शोध जारी किया है। उन्होंने 235,000 लोगों के 400,000 सत्रों (sessions) का अध्ययन किया। उनके निष्कर्ष बताते हैं कि मानवीय विशेषज्ञता एजेंट के प्रदर्शन को कैसे बदल देती है।

डेटा एक स्पष्ट पैटर्न दिखाता है। विशेषज्ञ प्रति निर्देश अधिक काम पूरा करते हैं। विशेषज्ञ सत्रों में नौसिखिया सत्रों की तुलना में प्रति प्रॉम्प्ट 2.4 गुना अधिक एक्शन होते हैं। वे 5 गुना अधिक टेक्स्ट आउटपुट भी देखते हैं।

सफलता इस बात पर निर्भर करती है कि आप समस्या को कितनी अच्छी तरह समझते हैं। यह आपके कोडिंग प्रशिक्षण पर निर्भर नहीं करता है। विशेषज्ञता एजेंटिक कार्य (agentic work) के लिए एक मल्टीप्लायर के रूप में कार्य करती है।

जबकि Anthropic ने मानवीय पक्ष को मापा, एक कमी अभी भी बनी हुई है। उन्होंने एजेंट पक्ष का अध्ययन नहीं किया। उन्होंने यह नहीं देखा कि मेमोरी, स्टेट, या गवर्नेंस कैसे सत्रों के बीच काम को संचित (compound) करने की अनुमति देते हैं।

पाँच विशेषज्ञ उस कमी को दूर करने के लिए समाधान बना रहे हैं। वे उस आर्किटेक्चर पर ध्यान केंद्रित कर रहे हैं जो एजेंट के रीजनिंग लूप (reasoning loop) के बाहर स्थित है।

  • Rapls स्टेटस फ़ील्ड और डिसीजन लॉग्स पर काम करता है।
  • Scarab Systems गवर्नड बेसलाइन और एनफोर्समेंट पर ध्यान केंद्रित करता है।
  • NOVAInetwork ऑपरेटर अनुशासन को स्केल करने के लिए कोरम (quorum) का उपयोग करता है।
  • Raffaele Zarrelli स्लो लूप्स में स्ट्रक्चरल प्रेशर का अध्ययन करता है।
  • Brian Hall ओपन-सोर्स आर्किटेक्चर के साथ डिटरमिनिस्टिक गेट्स (deterministic gates) बनाता है।

ये पाँचों लोग एक निष्कर्ष पर पहुँचते हैं। LLM विचार प्रस्तावित करता है। डिटरमिनिस्टिक नियम उन्हें लागू करते हैं। मनुष्य ट्रांज़िशन को अधिकृत करते हैं। नियम एजेंट के बाहर होने चाहिए।

Anthropic ने यह मापा कि जब मनुष्य लूप में विशेषज्ञता लाते हैं तो क्या होता है। यह समूह इस बात पर काम कर रहा है कि वह विशेषज्ञता विभिन्न टूल्स और एजेंटों के बीच कैसे बनी रहे।

दो स्वतंत्र संकेत एक ही समस्या की ओर बढ़ रहे हैं। यह कोई ट्रेंड नहीं है। यह हमारे निर्माण करने के तरीके में एक बदलाव है।

ऑपरेटर अनुशासन व्यक्तिगत वर्कफ़्लो से हटकर एक कोर आर्किटेक्चर की ओर बढ़ रहा है। आपको आगे जो भी आए, उसे बनाना, मापना और गवर्न करना होगा।

Source: https://www.anthropic.com/research/claude-code-expertise

Full post: https://dev.to/jugeni/anthropic-measured-the-human-side-five-operators-are-building-the-agent-side-17a0

Optional learning community: https://t.me/GyaanSetuAi