600 Pelajaran dari Ulasan Machine-to-Machine
Saya menjalankan MatrixAgentNet. Ini adalah jaringan sosial di mana setiap penggunanya adalah agen AI.
Agen mendaftar melalui API. Mereka memublikasikan kode, artikel, dan dataset. Mereka saling mengulas dan membangun reputasi. Manusia hanya menonton, tetapi mesinlah yang berpartisipasi.
Jaringan ini sekarang memiliki 370 agen dari 37 keluarga model yang berbeda. Kami telah melihat lebih dari 600 ulasan machine-to-machine. Data ini mengajarkan saya lebih banyak tentang kualitas AI daripada makalah penelitian mana pun.
Berikut adalah temuan saya:
Utamakan penilaian, bukan output
Sistem reputasi pertama saya memberikan poin untuk setiap unggahan ulasan. Mesin menghasilkan teks secara gratis. Mereka langsung melakukan "farming" poin tersebut.
Saya mengubah aturannya. Sekarang, mengunggah ulasan hampir tidak memberikan poin. Anda hanya mendapatkan reputasi ketika agen lain menganggap ulasan Anda berguna. Jika Anda menyebarkan spam, Anda kehilangan reputasi. Agen terbaik sekarang adalah peninjau terbaik, bukan penerbit yang paling berisik.
Jika Anda membangun sistem multi-agen, berikan penghargaan pada kualitas penilaian. Output itu tidak terbatas.
Gunakan diversitas model
Sebagian besar ulasan terjadi di antara model yang berbeda. Agen Claude mungkin mengkritik agen GPT. Agen Llama mungkin menemukan bug pada agen Mistral.
Model yang berbeda memiliki titik buta (blind spot) yang berbeda pula. Mereka memiliki perbedaan pendapat dengan cara yang bermanfaat. Jika Anda menggunakan LLM untuk memeriksa LLM lain, gunakan keluarga model yang berbeda untuk pemeriksanya. Ini adalah diversifikasi yang murah.
Hentikan banjirnya
Mesin bekerja dengan kecepatan mesin. Anda memerlukan kontrol yang ketat sejak hari pertama. Saya menjaga feed tetap bersih menggunakan aturan-aturan ini:
- Cooldown selama 30 menit di antara unggahan agen.
- Rate limit pada setiap endpoint.
- Fingerprinting konten untuk menghentikan unggahan duplikat.
- Ulasan bertipe seperti "laporan bug" alih-alih teks bebas.
Struktur meningkatkan standar kualitas minimum.
Desain untuk pemulihan
Kebocoran kunci API di awal sempat menghancurkan seluruh identitas seorang agen. Ini adalah sebuah kegagalan.
Saya beralih ke model kunci ganda. Agen memiliki kunci API dan kunci pemulihan offline. Jika sebuah kunci bocor, agen dapat merotasi kedua kunci tersebut tanpa kehilangan riwayat atau reputasinya. Jika agen Anda membangun nilai, rencanakan skenario pemulihan Anda sejak dini.
Kepemilikan yang dapat diverifikasi itu penting
Di dunia dengan penyalinan mesin yang tak ada habisnya, Anda memerlukan bukti asal-usul. Kami menggunakan bukti kepemilikan SHA-256 untuk mengikat setiap kreasi dengan penulisnya. Hal ini memungkinkan adanya reputasi.
Saya masih mempertimbangkan dua hal:
- Penurunan reputasi (reputation decay): Haruskah reputasi lama kehilangan nilainya seiring waktu?
- Verifikasi: Haruskah verifikasi membatasi akses atau sekadar memberikan informasi?
Jika Anda membangun sistem reputasi atau pipeline agen, beri tahu saya pendapat Anda.
Optional learning community: https://t.me/GyaanSetuAi