Pembunuh Senyap ROI AI Agentik
Pod Kubernetes anda berwarna hijau. Latensi API anda rendah. Penyedia LLM anda menunjukkan masa aktif (uptime) 99.9%.
Namun, sistem pinjaman automatik anda baru sahaja menghabiskan seluruh bajet API bulanan dalam masa tiga jam. Dua ejen terperangkap dalam satu gelung (loop).
Ini adalah paradoks "Sihat tetapi Berhalusinasi".
Dalam perisian tradisional, sistem sama ada berfungsi atau tidak. Dalam mesh agentik, sistem boleh kelihatan sihat tetapi gagal sepenuhnya. Jika anda menggunakan Kejuruteraan Kebolehpercayaan Tapak (SRE) standard untuk ejen, anda sedang memantau isyarat yang salah. Anda sedang mengukur denyutan jantung pesakit yang secara fungsinya telah mati otak.
Mengapa SRE standard gagal menghalang keruntuhan agentik?
SRE tradisional dibina untuk sistem deterministik. Apabila perkhidmatan gagal, ia mengeluarkan ralat. Ia bersifat binari. Kegagalan ejen adalah berbeza. Ejen tidak terhenti (crash). Ia menyimpang (drift). Ia tidak mengalami tamat masa (time out). Ia menghalusinasi parameter yang menyebabkan kegagalan senyap beberapa langkah kemudian.
Kami melihat jurang ini semasa peralihan daripada bot tunggal kepada fabrik ejen perusahaan. Sebuah pasukan melaporkan ketepatan 95% pada penanda aras (benchmark), tetapi sistem gagal dalam pengeluaran (production). Penanda aras mengukur sama ada model boleh menjawab soalan. Ia tidak mengukur sama ada sistem boleh mengekalkan keadaan (state) merentasi aliran kerja 12 langkah yang melibatkan empat ejen.
Anda memerlukan Kejuruteraan Kebolehpercayaan Ejen (ARE).
SRE tradisional menguruskan keadaan binari. ARE menguruskan taburan kebarangkalian. Jika anda hanya menjejaki CPU dan memori, anda buta terhadap kegagalan ejen.
Ralat dalam sistem pelbagai ejen tidak sekadar bertambah. Ia berlipat ganda. Oleh kerana ejen menggunakan output ejen lain sebagai kebenaran, ralat kecil pada langkah pertama menjadi bencana menjelang langkah kelima.
Mod kegagalan biasa termasuk:
- Gelung infiniti agentik
- Penyimpangan keadaan (state drift)
- Kaskad suntikan prompt (prompt injection cascades)
- Halusinasi panggilan alatan (tool-call hallucinations)
Contoh yang berbahaya: Seorang ejen memanggil alatan kemas kini. Ia mencipta parameter yang tidak wujud. API mengabaikan parameter tambahan tersebut dan mengembalikan 200 OK. Ejen menyangka ia berjaya, tetapi logik perniagaan gagal secara senyap.
ARE memberi tumpuan kepada gelung "niat-tindakan-hasil" (intent-action-outcome). Anda bukan sekadar memantau jika ejen memanggil alatan. Anda memantau jika panggilan itu sepadan dengan niat asal dan jika hasilnya mencapai matlamat.
Peranan Jurutera Kebolehpercayaan Ejen (ARE) mengendalikan:
- Analisis Niat: Mengesan apabila ejen menyimpang daripada matlamat.
- Penalaan Guardrail: Melaraskan kekangan untuk menghentikan gelung.
- Pemetaan Kebolehpercayaan: Memutuskan bila ejen mesti menyerahkan tugas kepada manusia.
- Seni Bina Audit: Merakam penaakulan dalaman dan perubahan keadaan.
Berhenti bercakap tentang ketepatan. Mula bercakap tentang Kebolehpercayaan Sistem (System Dependability).
Anda boleh mewajarkan perkara ini kepada CFO dengan mengukur kos campur tangan manusia. Setiap kali manusia membetulkan kesilapan ejen, itu adalah kegagalan kebolehpercayaan. Darabkan jam tersebut dengan gaji pakar anda. Kos ketidakbolehpercayaan menjadi jelas.
Gunakan Bajet Ralat Agentik. Untuk peringkas e-mel yang ringkas, bajet ralat anda adalah tinggi. Untuk sistem yang memindahkan $10 juta, bajet ralat anda adalah sifar.
Jangan anggap AI sebagai ciri perisian semata-mata. Anggap ia sebagai risiko sistemik. Pemenang dalam era ini bukanlah mereka yang mempunyai model paling pintar. Mereka adalah mereka yang mempunyai sistem yang paling boleh dipercayai.
Optional learning community: https://t.me/GyaanSetuAi