Mengapa AI Memerlukan Pengurusan Keadaan (State Management) Lebih Daripada Tetingkap Konteks (Context Windows) yang Lebih Besar

Model baharu dilancarkan dengan tetingkap konteks yang sangat besar. Andaiannya mudah. Lebih banyak data dalam satu permintaan menyelesaikan setiap masalah.

Anda menambah lebih banyak dokumen. Anda menambah lebih banyak sejarah. Anda menambah lebih banyak data aliran kerja.

Tetapi selepas menjalankan AI dalam pengeluaran (production), kami mempelajari satu pengajaran. Tetingkap konteks membantu. Pengurusan keadaan (state management) adalah lebih penting.

Apabila AI menghasilkan keputusan yang buruk, pasukan sering menambah lebih banyak maklumat ke dalam prom (prompt). Mereka berfikir model tersebut memerlukan lebih banyak sejarah atau lebih banyak konteks perniagaan. Prom tersebut menjadi semakin besar.

Lebih banyak maklumat tidak bermakna keputusan yang lebih baik. Ia sering kali menyebabkan sebaliknya. Tetingkap konteks yang besar menyembunyikan seni bina (architecture) yang lemah. Daripada memilih data yang relevan, sistem memasukkan segalanya.

Ini mewujudkan beberapa masalah:

Model mempunyai lebih banyak maklumat tetapi kurang kejelasan.

Anda mesti memahami perbezaan antara konteks dan keadaan (state). Konteks ialah maklumat yang tersedia semasa satu permintaan tunggal. Keadaan (state) ialah maklumat yang diketahui sistem dari semasa ke semasa.

Contoh keadaan (state):

Semua ini tidak perlu berada di dalam setiap prom. Sistem teragih (distributed systems) tidak menyelesaikan kerumitan dengan menghantar semua data ke mana-mana sahaja. Mereka menggunakan pangkalan data, cache, dan barisan (queues) untuk menguruskan keadaan.

Sistem AI sering mengabaikan disiplin ini. Mereka menganggap tetingkap konteks sebagai pangkalan data sementara. Ini adalah kemalasan seni bina.

Berhenti bertanya "Bolehkah kita masukkan segalanya?" Mula bertanya "Apakah maklumat yang diperlukan?"

Kami melihat hasil yang lebih baik dengan menambah baik pengurusan keadaan, bukan dengan meningkatkan saiz konteks. Kami melakukannya dengan:

Ini membawa kepada kos yang lebih rendah dan pelaksanaan yang lebih pantas. Ia tidak memerlukan model yang lebih besar. Ia memerlukan reka bentuk yang lebih baik.

Matlamatnya bukan untuk memberi model akses kepada segalanya. Matlamatnya adalah untuk memberi model maklumat yang betul pada masa yang betul.

Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m

Optional learning community: https://t.me/GyaanSetuAi