𝗙𝗮𝘀𝘁𝗖𝗼𝗻𝘁𝗲𝘅: 𝗦𝗲𝗽𝗮𝗿𝗮𝘁𝗲 𝗦𝗲𝗮𝗿𝗰𝗵 𝗳𝗿𝗼𝗺 𝗦𝗼𝗹𝘃𝗶𝗻𝗴
Agenci programistyczni marnują zbyt wiele czasu na szukanie kodu.
Microsoft oraz Shanghai Jiao Tong University zbadali ten problem. Wykazali, że wyszukiwanie kodu zajmuje 56,2% tur wykorzystania narzędzi. Zużywa ono również 46,5% wszystkich tokenów.
Gdy jeden model jednocześnie wyszukuje i naprawia kod, jego pamięć staje się nieuporządkowana. Wypełnia się niepotrzebnymi fragmentami plików i błędnymi przypuszczeniami. Utrudnia to proces rozumowania.
FastContext rozwiązuje ten problem. Wykorzystuje on osobnego subagenta do eksploracji repozytorium.
Jak to działa: • Agent eksplorujący znajduje odpowiednie pliki i numery linii. • Nie przesyła on długich podsumowań do głównego agenta. • Przesyła jedynie niewielki zestaw konkretnych dowodów. • Główny agent pozostaje skoncentrowany na naprawie błędu.
Ta architektura oferuje dwie duże korzyści:
- Mniej szumu. Główny agent nie widzi każdego ślepego zaułka.
- Większa wydajność. Mniejsze modele (od 4B do 30B parametrów) mogą skutecznie radzić sobie z zadaniem wyszukiwania.
Wyniki są jednoznaczne. Użycie FastContext z Mini-SWE-Agent poprawiło skuteczność zadań o 5,5%. Zredukowało to również zużycie tokenów o 60%.
Lekcje przy budowaniu agentów:
- Traktuj wyszukiwanie jako zadanie podstawowe, a nie krok poboczny.
- Przesyłaj ścieżki plików i numery linii, a nie pełną historię czatu.
- Trenuj modele tak, aby dostarczały ustrukturyzowane dane dla kolejnego modelu.
- Monitoruj zużycie tokenów tak samo uważnie, jak wskaźnik sukcesu.
Nie zmuszaj jednego modelu do robienia wszystkiego. Specjalista od wyszukiwania sprawia, że model rozwiązujący jest szybszy i bardziej niezawodny.
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi