Meine KI-Integration war zu teuer, bis ich meinen Ansatz änderte
Ich habe ein Tool entwickelt, um lange Artikel zusammenzufassen. Ich habe GPT-4 verwendet, um es zum Laufen zu bringen. Die Zusammenfassungen waren großartig. Die Rechnung belief sich in einem Monat auf 1.200 $.
Diese Kosten waren zu hoch für mein Projekt. Ich hatte drei Möglichkeiten. Die Kosten senken oder das Feature einstellen.
Ich habe versucht, auf GPT-3.5 umzustellen. Der Preis sank. Die Qualität sank ebenfalls. Die Zusammenfassungen wurden vage und ließen wichtige Fakten aus.
Ich habe versucht, die Größe des Eingabetextes zu reduzieren. Ich habe lokale Bibliotheken verwendet, um zuerst wichtige Sätze auszuwählen. Das half, aber die Kosten blieben hoch. Kleine Modelle machten bei langen Texten immer noch Fehler.
Dann habe ich einen besseren Weg gefunden. Ich habe aufgehört, ein einziges großes Modell für alles zu verwenden. Ich habe begonnen, eine zweistufige Pipeline zu nutzen.
Schritt 1: Extraktive Phase. Verwenden Sie ein günstiges, schnelles Tool, um die 5 bis 10 wichtigsten Sätze aus dem Artikel auszuwählen. Dies entfernt 90 % des Textes.
Schritt 2: Abstraktive Phase. Senden Sie nur diese wenigen Sätze an eine kleine, günstige API. Bitten Sie diese, die Sätze zu einer sauberen Zusammenfassung zu kombinieren.
Diese Änderung senkte meine Kosten um 80 %. Die Qualität blieb nah an GPT-4. Die API-Aufrufe wurden viel kleiner und günstiger.
Ich habe auch zwei wichtige Lektionen gelernt:
Nutzen Sie Caching. Wenn viele Nutzer denselben Artikel lesen, führen Sie den Prozess nicht zweimal aus. Speichern Sie das Ergebnis.
Nutzen Sie Ebenen (Layers). Sie benötigen nicht immer ein schwerfälliges Modell. Zerlegen Sie komplexe Aufgaben in kleine, kostengünstige Schritte.
Wie halten Sie in Ihren Projekten das Gleichgewicht zwischen KI-Qualität und Kosten? Verwenden Sie verschiedene Modelle für verschiedene Schritte?
Optionale Lern-Community: https://t.me/GyaanSetuAi