𝗔𝗻𝘁𝗵𝗿𝗼𝗽𝗶𝗰 𝗠𝗲𝗻𝗴𝘂𝗸𝘂𝗿 𝗦𝗶𝘀𝗶 𝗠𝗮𝗻𝘂𝘀𝗶𝗮. 𝗟𝗶𝗺𝗮 𝗢𝗽𝗲𝗿𝗮𝘁𝗼𝗿 𝗦𝗲𝗱𝗮𝗻𝗴 𝗠𝗲𝗺𝗯𝗶𝗻𝗮 𝗦𝗶𝘀𝗶 𝗘𝗷𝗲𝗻.

Anthropic telah mengeluarkan penyelidikan baharu mengenai Claude Code. Mereka mengkaji 400,000 sesi daripada 235,000 orang. Penemuan mereka menunjukkan bagaimana kepakaran manusia mengubah prestasi ejen.

Data menunjukkan corak yang jelas. Pakar menyiapkan lebih banyak kerja bagi setiap arahan. Sesi pakar menghasilkan 2.4x lebih banyak tindakan bagi setiap prom berbanding sesi pemula. Mereka juga melihat 5x lebih banyak output teks.

Kejayaan bergantung kepada sejauh mana anda memahami masalah tersebut. Ia tidak bergantung kepada latihan pengekodan anda. Kepakaran bertindak sebagai pengganda bagi kerja ejen.

Walaupun Anthropic mengukur sisi manusia, masih terdapat jurang. Mereka tidak mengkaji sisi ejen. Mereka tidak melihat bagaimana memori, keadaan (state), atau tadbir urus membolehkan kerja terkumpul merentasi sesi.

Lima pengamal sedang membina penyelesaian kepada jurang tersebut. Mereka memberi tumpuan kepada seni bina yang terletak di luar gelung penaakulan (reasoning loop) ejen.

  • Rapls mengusahakan medan status dan log keputusan.
  • Scarab Systems memberi tumpuan kepada garis dasar yang ditadbir dan penguatkuasaan.
  • NOVAInetwork menggunakan kuorum untuk menskalakan disiplin operator.
  • Raffaele Zarrelli mengkaji tekanan struktur dalam gelung perlahan.
  • Brian Hall membina pintu deterministik dengan seni bina sumber terbuka.

Kelima-lima individu ini mencapai satu kesimpulan. LLM mencadangkan idea. Peraturan deterministik menguatkuasakannya. Manusia memberi kuasa kepada peralihan tersebut. Peraturan tersebut mestilah wujud di luar ejen.

Anthropic mengukur apa yang berlaku apabila manusia membawa kepakaran ke dalam gelung tersebut. Kumpulan ini sedang membina cara kepakaran itu kekal merentasi pelbagai alatan dan ejen.

Dua isyarat bebas sedang menuju ke arah masalah yang sama. Ini bukan sekadar trend. Ia adalah anjakan dalam cara kita membina.

Disiplin operator sedang beralih daripada aliran kerja peribadi kepada seni bina teras. Anda mesti membina, mengukur, dan mentadbir apa yang akan datang seterusnya.

Source: https://www.anthropic.com/research/claude-code-expertise

Full post: https://dev.to/jugeni/anthropic-measured-the-human-side-five-operators-are-building-the-agent-side-17a0

Optional learning community: https://t.me/GyaanSetuAi