Meine KI-Integration war zu teuer, bis ich meinen Ansatz änderte
Ich liebte meine KI-Zusammenfassungsfunktion, bis die Rechnung kam.
Letzten Monat habe ich ein Tool erstellt, um lange Artikel zusammenzufassen. Ich habe GPT-4 mit einem einfachen Prompt verwendet. Es funktionierte perfekt. Die Nutzer liebten die Qualität.
Dann kam die Rechnung. Ein Monat Nutzung kostete mich über 1.200 $. Ich musste das entweder beheben oder die Funktion wieder abschaffen.
Ich habe verschiedene Dinge versucht, um das Problem zu lösen:
- Ich bin auf GPT-3.5-turbo umgestiegen. Die Kosten sanken, aber die Qualität ließ nach. Die Zusammenfassungen wurden vage.
- Ich habe es mit Prompt Engineering versucht. Das Hinzufügen von „sei spezifisch“ half nicht genug.
- Ich habe versucht, die Eingabegröße mithilfe von extraktiven Bibliotheken zu reduzieren. Das half, aber die Kosten blieben hoch.
Mir wurde klar, dass ich mit Kanonen auf Spatzen schoss.
Die Lösung ist eine zweistufige Pipeline. Man kombiniert zwei verschiedene Methoden, um die besten Ergebnisse zu erzielen.
Schritt 1: Die extraktive Phase Verwenden Sie ein günstiges, schnelles Tool wie TextRank, um die 5 bis 10 wichtigsten Sätze aus dem Artikel auszuwählen. Dies entfernt 90 % des überflüssigen Textes.
Schritt 2: Die abstraktive Phase Senden Sie nur diese wenigen Sätze an ein kleines, günstiges Modell wie GPT-3.5-turbo. Bitten Sie es, diese Sätze in eine saubere Zusammenfassung mit 3 Aufzählungspunkten umzuformulieren.
Dieser Ansatz senkte meine Kosten um 80 %. Die Qualität blieb nah an GPT-4, da das Modell nur die wichtigsten Daten verarbeitete.
Weitere Tipps für Ihre KI-Entwicklungen:
- Nutzen Sie Caching. Speichern Sie Ergebnisse anhand eines Artikel-Hashes, damit Sie nicht zweimal für dieselbe Zusammenfassung bezahlen.
- Nutzen Sie Ebenen. Zerlegen Sie komplexe Aufgaben in kleinere, günstigere Teilaufgaben.
- Richten Sie einen Fallback ein. Wenn ein Artikel zu komplex ist, verwenden Sie ein hochwertiges Modell wie GPT-4 nur für diese spezifischen Fälle.
Hören Sie auf, riesige Textblöcke an teure Modelle zu senden. Verkleinern Sie die Daten zuerst.
Wie halten Sie in Ihren Produkten das Gleichgewicht zwischen KI-Qualität und Kosten? Verwenden Sie verschiedene Modelle für verschiedene Aufgaben?