The Confabulation Cascade

Ejen AI saya terperangkap dalam satu gelung.

Ia akan menulis pertanyaan SQL dengan nama lajur yang palsu. Pangkalan data akan memulangkan ralat. Mesej ralat tersebut menyertakan senarai lajur yang sebenar. Ejen itu akan membaca pembetulan tersebut. Kemudian, ia akan menulis semula nama lajur yang salah yang sama tepat.

Saya memanggil ini sebagai kaskad konfabulasi.

Ini bukan masalah model. Ini adalah masalah reka bentuk alatan.

Begini cara gelung tersebut berfungsi:

  • Ejen menjana pertanyaan berdasarkan latihannya.
  • Pertanyaan tersebut gagal.
  • Mesej ralat memberikan kebenaran.
  • Ejen melihat kebenaran tetapi sebaliknya bergantung kepada latihan dalamannya.
  • Ejen mengulangi kesilapan tersebut.

Ejen menghadapi dua isyarat. Satu isyarat ialah mesej ralat. Isyarat yang lain ialah latihan model tersebut. Latihan selalunya lebih kuat. Mesej ralat hanya muncul sekali. Latihan muncul dengan setiap perkataan yang ditulis oleh model tersebut.

Saya cuba membaiki ini dengan kejuruteraan prompt. Saya memberitahu model tersebut untuk memberi perhatian kepada ralat. Ia tidak berjaya.

Isu sebenarnya ialah ejen saya hanya boleh belajar melalui kegagalan. Ia tidak mempunyai cara untuk menyemak struktur jadual sebelum bertindak. Ia terpaksa meneka.

Jika anda memberikan API kepada manusia, anda memberikan mereka dokumentasi. Anda tidak memaksa mereka menghantar permintaan yang rosak sehingga mesej ralat mengajar mereka tentang skema tersebut.

Saya membaiki ini dengan membina alatan proaktif. Daripada menunggu ralat, ejen kini memanggil alatan describe_table terlebih dahulu.

Aliran kerja baharu:

  • Ejen ingin membuat pertanyaan pada jadual.
  • Ejen memanggil describe_table untuk melihat lajur yang sebenar.
  • Ejen mendapat nama dan jenis yang betul.
  • Ejen menulis pertanyaan yang betul pada percubaan pertama.

Gelung tersebut terhenti. Model tersebut tidak menjadi lebih pintar. Ejen itu cuma berhenti meneka.

Jika ejen anda menggunakan pangkalan data atau API, tanyakan ini: Bolehkah mereka mengesahkan struktur sebelum bertindak? Atau adakah mereka hanya belajar melalui kegagalan?

Petunjuk ralat reaktif adalah bagus. Ia tidak mencukupi. Ejen yang hanya belajar melalui kegagalan sentiasa selangkah sahaja daripada halusinasi.

Bina alatan yang membolehkan ejen bertanya soalan sebelum mereka melakukan kesilapan.

Sumber: https://dev.to/niclydon/the-confabulation-cascade-when-your-agent-learns-nothing-from-its-own-mistakes-m08

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi