Nowy nagłówek beta od Anthropic obniża koszt tokenów przy wywołaniach narzędzi (tool calls) o około 14 procent dla modelu Claude 3.7 Sonnet, co zapewnia agentom AI niewielką redukcję miesięcznych rachunków oraz lekką przewagę pod względem opóźnień (latency).
Dlaczego używanie narzędzi zużywa tokeny
Każda interakcja agenta z Claude obejmuje trzy kroki oparte na tokenach:
- Definicje narzędzi – nazwy i schematy JSON przesyłane jako część promptu.
- Wywołania narzędzi (tool calls) – ustrukturyzowany wynik generowany przez model, gdy zdecyduje się wywołać narzędzie.
- Wyniki narzędzi – dane, które Twój kod zwraca do modelu.
Pierwszy i trzeci krok to tokeny wejściowe (input); drugi krok to tokeny wyjściowe (output). Ponieważ Claude nalicza wyższe opłaty za wyjście niż za wejście, ograniczenie liczby tokenów wyjściowych może obniżyć koszty, nawet jeśli całkowita liczba tokenów pozostaje zbliżona.
Nagłówek beta
Anthropic ogłosiło funkcję beta o nazwie token-efficient tool use. Dodanie nagłówka HTTP
anthropic-beta: token-efficient-tools-2025-02-19
aktywuje optymalizację, ale tylko wtedy, gdy zapytanie dotyczy modelu Claude 3.7 Sonnet. Jeśli nagłówek zostanie wysłany do dowolnego innego modelu, zapytanie zostanie przetworzone bez zmian; nagłówek zostanie zignorowany bez wywoływania błędu.
Optymalizacja polega na kompresji wyjścia wywołania narzędzia przez model, co redukuje liczbę tokenów wyjściowych w tym kroku o około 14 procent.
Ile faktycznie oszczędzasz
Tokeny wyjściowe są droższe od wejściowych, więc 14-procentowa redukcja w tej kategorii nie przekłada się na proporcjonalny spadek całkowitego rachunku. W typowej, czterostopniowej pętli agenta, definicje narzędzi często dominują w kosztach wejściowych, czasem przekraczając połowę użytych tokenów. W takich warunkach 14-procentowa oszczędność na tokenach wyjściowych zazwyczaj przekłada się na zaledwie około 3-procentową redukcję całkowitej opłaty.
Podana w nagłówku kwota oszczędności wydaje się więc skromna, ale zmiana ta nie generuje żadnych dodatkowych kosztów i wprowadza niewielkie przyspieszenie: mniej tokenów wyjściowych oznacza, że model kończy generowanie odrobinę szybciej.
Większe oszczędności wymagają innych taktyk
Jeśli celem jest znaczące ograniczenie wydatków, sam nagłówek nie wystarczy. Trzy praktyczne dźwignie pozwalają na większe zyski:
- Prompt caching – przechowuj definicje narzędzi raz i używaj wersji z pamięci podręcznej w kolejnych wywołaniach. Odczyty z pamięci podręcznej są rozliczane według niższej stawki niż nowe tokeny wejściowe.
- Ograniczenie zestawu narzędzi – dołączaj tylko te narzędzia, które są niezbędne do wykonania bieżącego zadania. Każde dodatkowe narzędzie dodaje swoją definicję do każdego zapytania, co zwiększa koszty wejściowe.
- Redukcja wyników narzędzi – zwracaj tylko te pola, których model faktycznie potrzebuje. Duże odpowiedzi API, które są przekazywane z powrotem do konwersacji, zwiększają zarówno liczbę tokenów wejściowych, jak i historię rozmowy.
Stosowanie tych praktyk może znacząco obniżyć całkowite wydatki, znacznie wykraczając poza 3 procent, które uzyskuje się dzięki samej wersji beta.
Na co zwrócić uwagę
Anthropic nie określiło, kiedy – i czy w ogóle – tryb token-efficient przejdzie z fazy beta do funkcji domyślnej. Deweloperzy powinni śledzić przyszłe ogłoszenia, które mogą rozszerzyć wsparcie poza model Claude 3.7 Sonnet lub wprowadzić głębsze techniki kompresji tokenów. Monitorowanie podziału tokenów na pojedyncze zapytanie pomoże również określić realny wpływ zmiany w miarę ewolucji wzorców użytkowania.
Podsumowanie
Nagłówek beta to darmowa i łatwa do wdrożenia poprawka, która redukuje tokeny wyjściowe wywołań narzędzi o około 14 procent, zapewniając niewielki spadek rachunków i minimalne przyspieszenie. Dla każdego, kto już zmaga się z wysokimi kosztami agentów, nagłówek jest pomocnym dodatkiem, ale prawdziwe oszczędności przyniesie cache'owanie promptów, ograniczanie liczby narzędzi oraz zwracanie bardziej zwięzłych wyników.
Źródło: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l