Wie man LLMs nutzt, ohne das Budget zu sprengen
Eine KI-Demo ist leicht zu bauen. Man holt sich einen API-Key, schreibt einen Prompt, und es funktioniert.
Aber die Veröffentlichung für echte Nutzer ist etwas anderes. Der Traffic steigt und die Kosten schießen in die Höhe. Die Latenz wächst. Das Finanzteam stellt Fragen.
Die Lücke zwischen einer Demo und einem echten Produkt ist das Engineering. Man muss Kosten und Geschwindigkeit kontrollieren.
Steuern Sie Ihren Output, um Geld zu sparen
Die meisten APIs berechnen pro Token. Sie berechnen sowohl das, was Sie senden, als auch das, was zurückgesendet wird. Output-Token sind teurer als Input-Token.
Kürzen Sie nicht nur Ihre Prompts. Konzentrieren Sie sich auf die Antwort. • Verlangen Sie JSON. • Verlangen Sie nur einen Satz. • Legen Sie ein Limit für die maximale Token-Anzahl fest. • Sagen Sie dem Modell, dass es sich kurz fassen soll.
Kurze Antworten sind günstiger und schneller.
Reduzieren Sie die Anzahl der Aufrufe
Der günstigste Aufruf ist der, den man nie tätigt.
- Nutzen Sie Caching. Viele Nutzer stellen die gleichen Fragen. Ein Cache verwandelt einen langsamen API-Aufruf in einen schnellen Lookup.
- Nutzen Sie einen Router. Sie benötigen nicht für jede Aufgabe ein riesiges Modell. Verwenden Sie ein kleines, günstiges Modell für einfache Aufgaben. Nutzen Sie das teure Modell nur für schwierige Aufgaben.
Verbessern Sie die User Experience
Manchmal können Sie das Modell nicht schneller machen. Aber Sie können das Gefühl von Geschwindigkeit erzeugen.
- Antworten streamen. Zeigen Sie den Text an, während er generiert wird. Nutzer können sofort mit dem Lesen beginnen. Das lässt die Wartezeit kürzer erscheinen.
- Fortschritt anzeigen. Wenn die Arbeit mehrere Schritte umfasst, informieren Sie den Nutzer. Verwenden Sie Nachrichten wie „Dokumente werden durchsucht...“ anstatt eines leeren Lade-Spinners.
Verwalten Sie langsame Anfragen
Ein paar sehr langsame Anfragen können Ihr Produkt ruinieren. Lassen Sie diese nicht hängen.
- Legen Sie strikte Timeouts fest. Entscheiden Sie, was passiert, wenn eine Anfrage zu lange dauert.
- Nutzen Sie Retries mit Limits. Versuchen Sie es nicht unendlich oft erneut.
- Nutzen Sie Circuit Breaker. Wenn der Anbieter offline ist, hören Sie auf, Anfragen zu senden, und zeigen Sie einen Fallback an.
Tracken Sie Ihre Daten
Man kann nicht reparieren, was man nicht misst. Protokollieren Sie diese drei Dinge für jede Anfrage: • Input-Token • Output-Token • Gesamtlatenz
Tracken Sie diese nach Features. Wahrscheinlich werden Sie ein spezifisches Feature finden, das den Großteil Ihrer Kosten verursacht.
Hören Sie auf, das Modell wie Magie zu behandeln. Betrachten Sie es als eine langsame, teure Abhängigkeit, die Sie verwalten müssen.