𝗙𝗮𝘀𝘁𝗖𝗼𝗻𝘁𝗲𝘅: 𝗦𝗲𝗽𝗮𝗿𝗮𝘁𝗲 𝗦𝗲𝗮𝗿𝗰𝗵 𝗳𝗿𝗼𝗺 𝗦𝗼𝗹𝘃𝗶𝗻𝗴
Agen pengodean membuang terlalu banyak waktu untuk mencari kode.
Microsoft dan Shanghai Jiao Tong University mempelajari masalah ini. Mereka menemukan bahwa pencarian kode menghabiskan 56,2% dari giliran penggunaan alat (tool use turns). Hal ini juga menggunakan 46,5% dari total token.
Ketika satu model melakukan pencarian sekaligus memperbaiki kode, memorinya menjadi berantakan. Memori tersebut dipenuhi dengan potongan file yang tidak berguna dan tebakan yang salah. Hal ini membuat penalaran menjadi lebih sulit.
FastContext mengatasi masalah ini. Ia menggunakan subagen terpisah untuk eksplorasi repositori.
How it works: • Agen penjelajah menemukan file dan nomor baris yang tepat. • Ia tidak mengirimkan ringkasan panjang ke agen utama. • Ia hanya mengirimkan sekumpulan kecil bukti yang akurat. • Agen utama tetap fokus pada perbaikan bug.
Desain ini menawarkan dua keuntungan besar:
- Lebih sedikit gangguan. Agen utama tidak melihat setiap jalan buntu.
- Efisiensi yang lebih baik. Model yang lebih kecil (4B hingga 30B parameter) dapat menangani tugas pencarian secara efektif.
Hasilnya sangat jelas. Menggunakan FastContext dengan Mini-SWE-Agent meningkatkan keberhasilan tugas sebesar 5,5%. Hal ini juga memangkas penggunaan token sebesar 60%.
Lessons for building agents:
- Perlakukan pencarian sebagai tugas inti, bukan sekadar langkah tambahan.
- Kirimkan jalur file dan nomor baris, bukan riwayat obrolan lengkap.
- Latih model untuk menyediakan data terstruktur bagi model berikutnya.
- Pantau penggunaan token Anda sedekat Anda memantau tingkat keberhasilan Anda.
Jangan paksa satu model untuk melakukan segalanya. Spesialis pencarian membuat penyelesai (solver) menjadi lebih cepat dan lebih andal.
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi