𝗠𝘆 𝗔𝗜 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘁𝗶𝗼𝗻 𝗖𝗼𝘀𝘁 𝗧𝗼𝗼 𝗠𝘂𝗰𝗵 𝗨𝗻𝘁𝗶𝗹 𝗜 𝗖𝗵𝗮𝗻𝗴𝗲𝗱 𝗠𝘆 𝗔𝗽𝗽𝗿𝗼𝗮𝗰𝗵
Я створив інструмент для резюмування довгих статей. Я використовував GPT-4, щоб він працював. Резюме були чудовими. Рахунок за один місяць склав $1,200.
Ця вартість була занадто високою для мого проєкту. У мене було три варіанти. Знизити витрати або припинити роботу функції.
Я спробував перейти на GPT-3.5. Ціна впала. Якість також знизилася. Резюме стали розпливчастими та втрачали важливі факти.
Я спробував зменшити обсяг вхідного тексту. Я використовував локальні бібліотеки, щоб спочатку вибрати найважливіші речення. Це допомогло, але витрати залишилися високими. Малі моделі все одно припускалися помилок у довгих текстах.
Потім я знайшов кращий спосіб. Я перестав використовувати одну велику модель для всього. Я почав використовувати двоступеневий пайплайн.
Крок 1: Екстрактивна фаза. Використовуйте дешевий і швидкий інструмент, щоб вибрати 5–10 найкращих речень зі статті. Це видаляє 90% тексту.
Крок 2: Абстрактивна фаза. Відправляйте лише ці кілька речень у невеликий дешевий API. Попросіть його об'єднати ці речення в чітке резюме.
Ця зміна скоротила мої витрати на 80%. Якість залишилася на рівні, близькій до GPT-4. Виклики API стали значно меншими та дешевшими.
Я також засвоїв два важливі уроки:
Використовуйте кешування. Якщо багато користувачів читають одну й ту саму статтю, не запускайте процес двічі. Зберігайте результат.
Використовуйте рівні. Вам не завжди потрібна важка модель. Розбивайте складні завдання на маленькі дешеві кроки.
Як ви балансуєте між якістю ШІ та вартістю у своїх проєктах? Чи використовуєте ви різні моделі для різних етапів?
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi