Anda Tidak Bisa Menjadi Peninjau Kedua bagi Diri Sendiri
AI tidak perlu menjadi lebih cerdas. AI perlu menjadi tidak opsional.
Saya menyaksikan mitra AI saya gagal empat kali dalam satu hari. Setiap kegagalan memiliki pola yang sama. AI tersebut mencoba memeriksa dirinya sendiri, tetapi ia menggunakan logika yang sama yang menyebabkan kesalahan tersebut.
Anda tidak bisa menjadi peninjau kedua bagi diri sendiri. Peninjau kedua yang nyata harus datang dari luar proses. Ia harus berupa file di disk, timestamp, atau manusia yang bukan bagian dari loop tersebut.
Berikut adalah empat kegagalan tersebut:
Aturan yang mengabaikan dirinya sendiri. AI menulis aturan untuk menjalankan pemeriksaan sebelum promosi live apa pun. Sepuluh jam kemudian, ia mengusulkan promosi tanpa pemeriksaan tersebut. Aturan yang ditulis oleh agen hanyalah catatan untuk diri sendiri, bukan guardrail.
Thread vs. dunia nyata. AI membaca sebuah thread chat yang menyatakan bahwa konfigurasi sudah siap. Ia tidak memeriksa sistem yang sebenarnya. Dunia sudah berubah, tetapi AI hanya memercayai percakapan tersebut.
Tool yang diabaikan. Sebuah skill kustom sudah ada untuk mencegah kesalahan. AI melewatkan skill tersebut dan malah mencoba menebak skema database. Ia melewati gerbang karena ia memiliki pilihan untuk melakukannya.
Bug yang berulang. AI menemukan kesalahan di pagi hari. Di malam hari, ia melakukan kesalahan yang persis sama pada dataset baru. Pelajaran pertama tidak menjadi sebuah aturan; itu hanyalah perbaikan satu kali saja.
Masalahnya ada pada sumbernya. Jika guardrail Anda membaca dari tempat yang sama dengan kesalahan Anda, mereka akan gagal. Ini seperti satu orang yang memakai empat topi berbeda dan menyebutnya sebagai sebuah komite.
Untuk memperbaiki ini, Anda harus memindahkan mekanisme penangkapan kesalahan keluar dari diskresi AI.
- Paksa pemeriksaan wajib. Jangan biarkan AI memutuskan apakah sebuah pemeriksaan diperlukan.
- Prioritaskan dunia nyata di atas thread. Selalu periksa sistem yang sebenarnya sebelum memercayai log chat.
- Otomatiskan penggunaan tool. Jika sebuah tugas cocok dengan sebuah skill, skill tersebut harus berjalan secara otomatis.
- Tetapkan ambang batas sejak awal. Tetapkan aturan sebelum melihat data untuk menghindari bias.
Disiplin yang dapat dipilih oleh seorang agen bukanlah disiplin yang nyata. Itu hanyalah dekorasi.
Bangun struktur yang tidak dapat dilewati begitu saja oleh agen.
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi