Der Coding-Assistent Genshijin kürzte japanische Code-Antworten um etwa 28 %, machte englische Antworten jedoch um 2,5 % länger – und in beiden Fällen stieg die gesamte API-Rechnung.

Jeder, der für KI-generierten Code bezahlt, spürt die Auswirkungen. Die tokenbasierte Preisgestaltung verwandelt jedes zusätzliche Wort in einem Prompt oder einer Antwort in ausgegebene Dollar. Ein Tool, das eine Sprache kürzt, während es eine andere aufbläht, kann die Kostenkalkulationen drastisch verändern.

Durchführung des Tests

Das Experiment umfasste 192 Software-Engineering-Prompts auf Japanisch und Englisch. Die Forscher sendeten jede Anfrage unter vier Antwortkonfigurationen an das Modell: eine einfache Baseline und drei Variationen, die die Genshijin-Skill mit unterschiedlichen Anweisungssätzen aufriefen. Die Skill funktioniert, indem zusätzliche Anweisungen an den Prompt angehängt werden, was zusätzliche Input-Token verbraucht.

Sie maßen die Ausgabelänge in Token und addierten die Kosten für Input- und Output-Token, um die gesamten API-Kosten zu ermitteln.

Was die Zahlen sagen

  • Japanische Ausgaben sanken um 27,5 %, wenn Genshijin aktiv war.
  • Englische Ausgaben stiegen unter denselben Bedingungen um 2,5 %.
  • Bei beiden Sprachen stiegen die gesamten API-Ausgaben.

Der Kostenanstieg resultiert aus den zusätzlichen Anweisungen, die Genshijin einfügt. Diese Anweisungen fügen Token hinzu, noch bevor das Modell mit der Code-Generierung beginnt. In diesem Test wogen die Token-Einsparungen durch die kürzeren japanischen Ausgaben die erforderlichen zusätzlichen Input-Token nie auf.

Um den Break-even-Punkt zu erreichen, müsste eine japanische Anfrage etwa 479 Output-Token einsparen, während eine englische Anfrage eine Reduzierung um 435 Token benötigen würde. Die gemessenen Einsparungen blieben hinter diesen Schwellenwerten zurück.

Warum die Sprachlücke?

Japanisch enthält oft Füllmaterial in Form von Höflichkeitsformen und wortreichen Formulierungen. Die Prompt-Anpassungen von Genshijin zielen auf dieses Füllmaterial ab, indem sie unnötige Wörter entfernen und die Antwort komprimieren. Englisch hingegen tendiert bereits dazu, prägnanter zu sein, sodass dieselben Prompts unbeabsichtigt Boilerplate-Text hinzufügen können, der die Antwort verlängert.

Was Entwickler beachten sollten

  • Lange japanische Erklärungen: Wenn Sie routinemäßig detaillierte Design-Notizen oder ausführliche Kommentare auf Japanisch anfordern, kann Genshijin unnötigen Ballast entfernen und die Token-Anzahl der Ausgabe senken.
  • Kurze Anfragen: Bei kurzen Fragen ist eine einfache Anweisung wie „antworte prägnant“ der vollständigen Genshijin-Skill überlegen, da sie kürzere Antworten und geringere Kosten liefert.
  • Englisch-lastige Workflows: Rechnen Sie mit längeren Ausgaben. Messen Sie die Auswirkungen, bevor Sie von einer Kostenersparnis ausgehen.
  • Selbst messen: Der Token-Verbrauch variiert je nach Prompt-Stil, Modellversion und Aufgabenkomplexität. Führen Sie eigene Benchmarks durch, anstatt sich auf beworbene Prozentsätze zu verlassen.

Die in einigen Dokumentationen beworbene Reduzierung um 75 % bezieht sich nur auf die Output-Token-Anzahl, nicht auf die Gesamtrechnung. Entwickler, die sich nur auf diesen Wert konzentrieren, könnten überrascht sein, wenn ihre Rechnungen gleich bleiben oder sogar steigen.

Worauf man als Nächstes achten sollte

Fazit: Genshijin kann die japanische Code-Ausgabe sinnvoll verkleinern, aber die zusätzlichen Prompt-Token, die es hinzufügt, machen jeglichen unmittelbaren Kostenvorteil zunichte – und es kann sogar englische Antworten aufblähen. Nutzen Sie es selektiv und überprüfen Sie stets die Token-Auswirkungen auf Ihre eigene Arbeitslast.

Quelle: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83