𝗠𝘆 𝗔𝗜 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘁𝗶𝗼𝗻 𝗖𝗼𝘀𝘁 𝗧𝗼𝗼 𝗠𝘂𝗰𝗵 𝗨𝗻𝘁𝗶𝗹 𝗜 𝗖𝗵𝗮𝗻𝗴𝗲𝗱 𝗠𝘆 𝗔𝗽𝗽𝗿𝗼𝗮𝗰𝗵
Ik was dol op mijn AI-samenvattingsfunctie, totdat de rekening kwam.
Vorige maand bouwde ik een tool om lange artikelen samen te vatten. Ik gebruikte GPT-4 met een eenvoudige prompt. Het werkte perfect. Gebruikers waren dol op de kwaliteit.
Toen kwam de rekening. Eén maand gebruik kostte me meer dan $1.200. Ik moest dit oplossen of de functie stopzetten.
Ik heb verschillende dingen geprobeerd om het op te lossen:
- Ik stapte over op GPT-3.5-turbo. De kosten gingen omlaag, maar de kwaliteit daalde. De samenvattingen werden vaag.
- Ik probeerde prompt engineering. Het toevoegen van "wees specifiek" hielp niet genoeg.
- Ik probeerde de invoergrootte te verkleinen met behulp van extractive libraries. Dit hielp, maar de kosten bleven hoog.
Ik realiseerde me dat ik een sloopkogel gebruikte voor een klein spijkertje.
De oplossing is een tweestaps-pipeline. Je combineert twee verschillende methoden om de beste resultaten te krijgen.
Step 1: The Extractive Phase Gebruik een goedkope, snelle tool zoals TextRank om de 5 tot 10 belangrijkste zinnen uit het artikel te selecteren. Dit verwijdert 90% van de overbodige tekst.
Step 2: The Abstractive Phase Stuur alleen die paar zinnen naar een klein, goedkoop model zoals GPT-3.5-turbo. Vraag het om die zinnen te herschrijven naar een heldere samenvatting met 3 bullets.
Deze aanpak verlaagde mijn kosten met 80%. De kwaliteit bleef vergelijkbaar met GPT-4, omdat het model alleen de belangrijkste gegevens verwerkte.
Andere tips voor je AI-projecten:
- Gebruik caching. Sla resultaten op per artikel-hash, zodat je niet twee keer betaalt voor dezelfde samenvatting.
- Gebruik lagen. Breek complexe taken op in kleinere, goedkopere subtaken.
- Stel een fallback in. Als een artikel te complex is, gebruik dan alleen voor die specifieke gevallen een hoogwaardig model zoals GPT-4.
Stop met het sturen van enorme tekstblokken naar dure modellen. Verklein eerst de data.
Hoe breng jij de AI-kwaliteit en de kosten in balans in je producten? Gebruik je verschillende modellen voor verschillende taken?