Der 10x-Preisverfall ist eine Wette auf die Architektur
Ingenieure verbringen Stunden damit, Prompts umzuschreiben, um ein paar Token zu sparen. Dieser Aufwand ist oft verschwendet.
Token sind nicht kostenlos, aber die Kosten für KI sinken zu schnell. Die Kosten für ein bestimmtes Leistungsniveau der KI fallen jedes Jahr um etwa das Zehnfache. Das nennt man LLMflation.
Daten zeigen, dass dieser Trend real ist:
- Qualität auf GPT-3-Niveau kostete 2021 60 $ pro Million Token.
- Mit Llama 3.2 3B kostet es jetzt etwa 0,06 $.
- Das ist ein 1.000-facher Rückgang in drei Jahren.
- Die Kosten für Qualität auf GPT-3.5-Niveau sind in nur 18 Monaten um das 280-fache gesunken.
Die Frontier-Modelle bleiben teuer. Aber die Modelle, die Sie für Standardaufgaben verwenden, fallen im Preis kontinuierlich. Wenn Sie für die heutigen Preise optimieren, optimieren Sie für eine Zahl, die in wenigen Monaten verschwindet.
Konzentrieren Sie sich nicht auf Prompt-Tricks. Konzentrieren Sie sich auf die Architektur.
Befolgen Sie diese drei Regeln, um zu gewinnen:
• Behandeln Sie das Modell als eine Komponente. Verwenden Sie eine einzige Schnittstelle für Inputs und Outputs. Hardcodieren Sie keine spezifischen Modelle in Ihre App. Dies ermöglicht es Ihnen, Modelle über eine einfache Konfigurationsänderung auszutauschen.
• Bauen Sie zuerst ein Evaluation-Harness. Sie benötigen einen Testdatensatz, um zu beweisen, ob ein neues, günstigeres Modell genauso gut funktioniert wie das alte. Ohne Tests werden Sie bei teuren Modellen feststecken, weil Sie Angst haben, etwas kaputt zu machen.
• Investieren Sie in Dinge, die nicht billiger werden. Ihre Datenqualität, Ihre Retrieval-Systeme, Ihre Guardrails und Ihre User Experience sinken nicht jedes Jahr um das Zehnfache im Preis. Nur das Modell tut das.
Hören Sie auf, für reine Leistungsfähigkeit Fine-Tuning zu betreiben. Fine-Tuning ist eine Wette gegen die Entwicklungskurve. Sie binden Ihre Daten und Ihre Infrastruktur an ein spezifisches Modell. Wenn ein neues Basismodell erscheint, wird Ihr feinjustiertes Modell zu einem teuren Relikt. Nutzen Sie Fine-Tuning nur für Dinge, die gleich bleiben, wie Ihren spezifischen Markenton oder einzigartige Datenformate.
Die Gewinnstrategie besteht darin, ein System zu bauen, das den Austausch von Modellen trivial macht. Hören Sie auf, Token zu zählen. Gestalten Sie Ihr Produkt so, dass es die Preiskurve nach unten mitreitet.
Optional learning community: https://t.me/GyaanSetuAi