Tetingkap Konteks Semakin Luas

Orang ramai menggunakan perkataan ejen untuk segala-galanya.

Fungsi yang memanggil alatan adalah ejen. Chatbot dengan memori adalah ejen. Skrip dengan gelung adalah ejen.

Kesilapan ini membawa kepada kejuruteraan yang lemah. Pasukan melakukan kejuruteraan berlebihan untuk tugas mudah dan kejuruteraan tidak mencukupi untuk tugas kompleks. Saya melihat pasukan menghabiskan masa berminggu-minggu untuk orkestrasi ejen bagi aliran kerja yang hanya memerlukan satu prom yang baik.

Berikut adalah definisi saya tentang ejen yang sebenar.

Seorang ejen mempunyai objektif. Ia tidak sekadar mengikut arahan. Ia memutuskan apa yang perlu dilakukan seterusnya. Ia mengendalikan kegagalan. Ia tahu bila perlu berhenti.

Gunakan penanda aras ini:

  • Jika manusia perlu membimbing setiap langkah, ia adalah antara muka sembang.
  • Jika sistem pulih daripada panggilan alatan yang gagal, ia sedang menuju ke arah menjadi ejen.
  • Jika sistem memecahkan matlamat kepada tugasan dan menyerahkannya, ia adalah ejen yang sebenar.

Kebanyakan ejen yang berjaya adalah khusus. Mereka melakukan satu kerja dengan baik. Mereka mengendalikan triaj sokongan pelanggan atau pengekstrakan dokumen. Mereka bukan enjin penaakulan umum.

Pasukan yang berjaya memberi tumpuan kepada tiga perkara ini:

  • Reka bentuk alatan: Sejauh manakah kebersihan antara mukanya?
  • Pengendalian kegagalan: Apa yang berlaku apabila alatan tidak mengembalikan apa-apa?
  • Kebolehlihatan (Observability): Bolehkah anda menjejaki mengapa ejen membuat keputusan tersebut?

Pasukan yang tidak berjaya hanya menukar satu model kepada model yang lebih baharu dan mengharapkan hasil yang lebih baik. Mereka mengabaikan reka bentuk sistem.

Rangka kerja seperti LangChain atau CrewAI berubah setiap bulan. Rangka kerja kurang penting berbanding corak.

Gunakan corak ini:

  • Rancang kemudian laksanakan: Asingkan langkah penaakulan daripada langkah pelaksanaan.
  • Asingkan pengambilan (retrieval) daripada penaakulan: Mengambil konteks adalah tugas yang berbeza daripada menggunakannya.
  • Penyerahan eksplisit: Gunakan log berstruktur apabila satu ejen menyerahkan kerja kepada ejen yang lain.

Rangka kerja hanyalah perancah. Seni bina adalah bangunannya.

RAG adalah standard, tetapi pembahagian (chunking) sering kali bermasalah. Jika anda membahagikan dokumen dengan lemah, model akan kehilangan konteks. Ini membawa kepada halusinasi.

Jika hasil RAG anda tidak berguna, periksa pembahagian (chunking) dan metadata anda. Model jarang menjadi puncanya.

Model akan menjadi lebih baik. Tetingkap konteks akan berkembang. Kos token akan menurun.

Semua itu tidak menyelesaikan cabaran kejuruteraan yang sebenar. Anda mesti membina sistem yang berkelakuan dengan betul apabila anda tidak memerhatikannya.

Fokus pada tadbir urus, kebolehlihatan, dan penggunaan alatan yang boleh dipercayai. Jurutera terbaik bukanlah penyelidik model. Mereka adalah pereka sistem yang membina AI yang boleh dipercayai.

Source: https://dev.to/aibughunter/context-windows-are-getting-huge-heres-why-that-changes-everything-2jlh