Anatomi Harness Ejen
Anda telah membina sebuah chatbot. Anda menambah beberapa alatan dan satu gelung (loop) yang ringkas. Ia berfungsi untuk demo. Kemudian anda cuba untuk beralih ke fasa produksi dan segalanya rosak.
Model tersebut melupakan langkah-langkah terdahulu. Panggilan alatan (tool calls) gagal tanpa amaran. Tetingkap konteks (context window) dipenuhi dengan data yang tidak berguna.
Masalahnya bukan pada model anda. Masalahnya adalah infrastruktur di sekelilingnya.
Infrastruktur ini dipanggil harness ejen.
Ejen adalah tingkah laku. Harness adalah jentera. Jika anda bukan model tersebut, anda adalah harness tersebut.
Anggaplah LLM mentah sebagai sebuah CPU. Ia tidak mempunyai RAM, cakera (disk), dan I/O. Harness adalah sistem operasi. Ia menyediakan memori, alatan, dan logik untuk menjadikan model tersebut berguna.
Sebuah harness gred produksi mempunyai dua belas komponen teras:
• Gelung Orkestrasi: Ini adalah denyutan jantung. Ia menguruskan kitaran Thought-Action-Observation. • Lapisan Alatan: Ini adalah tangan. Harness mengendalikan pendaftaran, pengesahan, dan pelaksanaan alatan. • Memori: Ini termasuk sejarah jangka pendek dan persistensi jangka panjang merentasi sesi. • Pengurusan Konteks: Ini menghalang pereputan konteks (context rot) dengan memampatkan atau meringkaskan data. • Pemasangan Prompt: Ini membina input tepat yang dilihat oleh model pada setiap langkah. • Klasifikasi Output: Ini menentukan sama ada model ingin bercakap atau menggunakan alatan. • Pengurusan Keadaan (State Management): Ini membolehkan ejen menyambung semula kerja selepas ralat atau gangguan. • Pengendalian Ralat: Ini menangkap kegagalan supaya ralat tidak bertambah teruk. • Guardrails: Ini bertindak sebagai pemicu (tripwires) untuk menghentikan tindakan yang tidak selamat atau salah. • Penguatkuasaan Kebenaran: Ini memisahkan apa yang ingin dilakukan oleh model daripada apa yang dibenarkan untuk dilakukan. • Gelung Pengesahan: Ini membolehkan model menyemak kerjanya sendiri untuk meningkatkan kualiti. • Penyerahan Ejen (Agent Handoffs): Ini menguruskan bagaimana satu ejen menyerahkan kerja kepada ejen yang lain.
Matlamat kejuruteraan yang baik adalah untuk mengekalkan harness sekecil mungkin. Apabila model menjadi lebih pintar, anda sepatutnya memerlukan kurang perancah (scaffolding).
Apabila ejen anda gagal, jangan salahkan model tersebut. Lihat pada harness anda.
Sumber: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi