Membina FailureDNA: Memori Ejen yang Tahu Bila Tidak Perlu Mempercayai Dirinya Sendiri

Kebanyakan ejen AI melakukan kesilapan yang berbahaya. Mereka menggunakan insiden lalu untuk menyelesaikan gangguan baharu. Jika masalah baharu kelihatan seperti masalah lama, ejen tersebut akan menyalin penyelesaian lama tersebut.

Ini adalah satu masalah. Keserupaan tidak bermakna kebolehgunaan. Penyelesaian lama mungkin berfungsi untuk versi pangkalan data lama tetapi gagal pada versi semasa anda. Mengulang penyelesaian yang gagal membazirkan masa. Menggunakan penyelesaian yang lapuk menjadikan gangguan lebih teruk.

Saya membina FailureDNA untuk menyelesaikan masalah ini. Ia adalah sistem memori yang menjejaki hasil sebenar. Ia memutuskan sama ada pengalaman lalu berguna, perlu diperiksa, atau perlu dielakkan.

Sistem ini mengikut satu peraturan: model memilih tindakan, tetapi kod deterministik menentukan apa yang sah.

Cara ia berfungsi: • Ejen melakukan embedding terhadap simptom insiden. • Ia mencari insiden lalu menggunakan pgvector pada Alibaba Cloud RDS. • Satu gerbang (gate) deterministik menyemak hasil tersebut. • Model memilih tindakan yang tersenarai dalam senarai putih (allowlisted). • Sistem melaksanakan tindakan tersebut dan menyimpan hasil sebenar.

Gerbang tersebut menggunakan tiga peraturan mudah:

  • Jika hasil lalu adalah kegagalan: Elakkannya.
  • Jika hasil lalu adalah kejayaan dan persekitaran sepadan: Gunakannya.
  • Jika hasil lalu adalah kejayaan tetapi persekitaran berubah: Periksanya.

Ejen tidak boleh mengulang kegagalan yang telah diketahui. Sistem ini membuang tindakan yang buruk sebelum model sempat melihatnya. Ini menghalang model daripada mengabaikan amaran. Model memberikan kreativiti, tetapi kod memberikan keselamatan.

Perincian teknikal: • Saya menggunakan Qwen Cloud untuk embedding dan pemilihan tindakan. • text-embedding-v3 menghasilkan vektor 1024-d. • Pencarian hibrid (Hybrid retrieval) menggabungkan keserupaan semantik dan pertindihan kata kunci. • Backend berjalan pada Alibaba Cloud Function Compute dengan FastAPI. • Memori disimpan dalam ApsaraDB RDS for PostgreSQL.

FailureDNA menghalang ejen daripada mengulang kegagalan sejarah dan menggunakan penyelesaian yang lapuk. Ia mengekalkan kreativiti model sambil memastikan sistem kekal selamat.

Source: https://dev.to/prabhakaranjm/building-failuredna-an-agent-memory-that-knows-when-not-to-trust-itself-fbn

Optional learning community: https://t.me/GyaanSetuAi