Microsoft FastContext скорочує використання токенів кодинг-агентами на 60%
Кодинг-агенти витрачають занадто багато часу на пошук коду.
Коли агент шукає в репозиторії, він часто завантажує кожен файл у своє власне контекстне вікно. Це заповнює «робочий стіл» сирими даними ще до того, як агент почне писати код.
Дослідники Microsoft вивчили траси GPT-5.4 і виявили величезну проблему:
- Пошук і читання коду займали 56,2% усього використання інструментів.
- Це споживало 46,5% усіх токенів основного агента.
Більшість цих даних мають низьку інформативність. Агенту потрібні лише кілька рядків, але він тягне за собою весь файл.
Microsoft випустила FastContext, щоб вирішити цю проблему.
Замість того, щоб основний агент здійснював пошук самостійно, він використовує спеціалізованого субагента-експлорера. Уявіть, що це бібліотекар. Ви залишаєтеся за своїм столом, а бібліотекаря відправляєте до книжкових стелажів для пошуку інформації.
Як це працює:
- Основний агент надсилає запит природною мовою експлореру.
- Експлорер використовує інструменти лише для читання, такі як Read, Glob та Grep.
- Експлорер знаходить код у своєму власному окремому контексті.
- Замість того, щоб надсилати весь файл назад, він надсилає «цитування рядка у файлі».
- Цитування виглядає так: path/to/file.ts:88-104.
Основний агент отримує точне місце розташування без зайвого об'єму тексту.
Результати значні:
- Скорочення використання токенів до 60%.
- Збільшення рівня вирішення завдань до 5,5%.
Модель експлорера (4B-30B) проходить два етапи навчання. По-перше, навчання з учителем (supervised fine-tuning) вчить її здійснювати пошук. По-друге, навчання з підкріпленням, прив'язане до завдань (task-grounded reinforcement learning), гарантує, що вона знаходить докази, які дійсно допомагають основному агенту вирішити проблему.
Перекладаючи пошук «стогів сіна» на субагента, основний агент зберігає своє контекстне вікно чистим для безпосереднього міркування та написання коду.
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi