Asystent kodowania Genshijin skrócił odpowiedzi z kodem w języku japońskim o około 28%, ale wydłużył odpowiedzi w języku angielskim o 2,5%, a w obu przypadkach całkowity rachunek za API wzrósł.

Każdy, kto płaci za kod generowany przez AI, odczuwa tego skutki. Model rozliczeń oparty na tokenach sprawia, że każde dodatkowe słowo w prompcie lub odpowiedzi zamienia się w wydane dolary. Narzędzie, które skraca odpowiedzi w jednym języku, jednocześnie wydłużając je w innym, może drastycznie zmienić kalkulacje kosztów.

Jak przeprowadzono test

Eksperyment obejmował 192 prompty inżynierii oprogramowania w języku japońskim i angielskim. Badacze wysyłali każde zapytanie do modelu w czterech konfiguracjach odpowiedzi: jako prostą linię bazową oraz trzy warianty wywołujące umiejętność Genshijin z różnymi zestawami instrukcji. Umiejętność ta działa poprzez dopisywanie dodatkowych wskazówek do promptu, co zużywa dodatkowe tokeny wejściowe.

Zmierzono długość wyjściową w tokenach, a następnie dodano koszt tokenów wejściowych i wyjściowych, aby uzyskać całkowity koszt API.

Co mówią liczby

  • Wyjście w języku japońskim spadło o 27,5% przy aktywnej funkcji Genshijin.
  • Wyjście w języku angielskim wzrosło o 2,5% w tych samych warunkach.
  • W obu językach całkowite wydatki na API wzrosły.

Wzrost kosztów wynika z dodatkowych instrukcji, które wstrzykuje Genshijin. Instrukcje te dodają tokeny, zanim model w ogóle zacznie generować kod. W tym teście oszczędności tokenów wynikające z krótszego wyjścia w języku japońskim nigdy nie zrównoważyły dodatkowych wymaganych tokenów wejściowych.

Aby wyjść na zero, zapytanie w języku japońskim musiałoby skrócić wyjście o około 479 tokenów, podczas gdy zapytanie w języku angielskim wymagałoby redukcji o 435 tokenów. Zmierzone oszczędności okazały się niższe od tych progów.

Dlaczego istnieje ta różnica językowa?

Język japoński często zawiera „wypełniacze” w postaci form grzecznościowych i rozwlekłych sformułowań. Modyfikacje promptów przez Genshijin celują właśnie w te wypełniacze, usuwając zbędne słowa i kompresując odpowiedź. Angielski, w przeciwieństwie do niego, ma tendencję do bycia bardziej zwięzłym, więc te same prompty mogą nieumyślnie dodawać zbędne frazy (boilerplate), które wydłużają odpowiedź.

O czym programiści powinni pamiętać

  • Długie japońskie wyjaśnienia: Jeśli rutynowo prosisz o szczegółowe notatki projektowe lub obszerne komentarze w języku japońskim, Genshijin może wyciąć zbędne treści i obniżyć liczbę tokenów wyjściowych.
  • Krótkie zapytania: W przypadku krótkich pytań prosta instrukcja „odpowiadaj zwięźle” jest lepsza niż pełna umiejętność Genshijin, co skutkuje krótszymi odpowiedziami i niższymi kosztami.
  • Przepływy pracy oparte głównie na angielskim: Spodziewaj się dłuższych odpowiedzi. Zmierz wpływ, zanim założysz oszczędności.
  • Mierz samodzielnie: Zużycie tokenów różni się w zależności od stylu promptu, wersji modelu i złożoności zadania. Przeprowadzaj własne testy wydajnościowe, zamiast polegać na reklamowanych procentach.

75-procentowa redukcja, o której wspomina niektóre dokumentacje, odnosi się wyłącznie do liczby tokenów wyjściowych, a nie do całkowitego rachunku. Programiści, którzy skupiają się wyłącznie na tej liczbie, mogą być zaskoczeni, gdy ich faktury pozostaną bez zmian lub nawet wzrosną.

Na co zwrócić uwagę w przyszłości

Wniosek: Genshijin może znacząco skrócić wyjście kodu w języku japońskim, ale dodatkowe tokeny promptu, które dodaje, niwelują wszelkie natychmiastowe korzyści kosztowe — a może nawet wydłużyć odpowiedzi w języku angielskim. Używaj go selektywnie i zawsze weryfikuj wpływ na zużycie tokenów w ramach własnych zadań.

Źródło: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83