Моя інтеграція ШІ коштувала занадто багато, поки я не змінив підхід
Мені дуже подобалася моя функція ШІ-сумаризації, поки не прийшов рахунок.
Минулого місяця я створив інструмент для резюмування довгих статей. Я використовував GPT-4 із простим промптом. Це працювало ідеально. Користувачам подобалася якість.
Потім прийшов рахунок. Один місяць використання коштував мені понад 1200 доларів. Мені довелося або виправити це, або припинити роботу функції.
Я спробував кілька варіантів, щоб це виправити:
- Я перейшов на GPT-3.5-turbo. Вартість знизилася, але якість впала. Резюме стали розпливчастими.
- Я спробував промпт-інжиніринг. Додавання фрази «будь конкретним» не допомогло достатньо.
- Я спробував зменшити обсяг вхідних даних за допомогою екстрактивних бібліотек. Це допомогло, але витрати залишилися високими.
Я зрозумів, що намагаюся забити маленький цвях кувалдою.
Рішенням є двоетапний пайплайн. Ви поєднуєте два різні методи, щоб отримати найкращі результати.
Step 1: Екстрактивна фаза Використовуйте дешевий і швидкий інструмент, наприклад TextRank, щоб вибрати від 5 до 10 найважливіших речень зі статті. Це видаляє 90% зайвого тексту.
Step 2: Абстрактивна фаза Відправляйте лише ці кілька речень у невелику та дешеву модель, таку як GPT-3.5-turbo. Попросіть її переписати ці речення у чітке резюме з 3 пунктів.
Цей підхід скоротив мої витрати на 80%. Якість залишилася близькою до GPT-4, оскільки модель обробляла лише найважливіші дані.
Інші поради для ваших ШІ-проєктів:
- Використовуйте кешування. Зберігайте результати за хешем статті, щоб не платити за одне й те саме резюме двічі.
- Використовуйте рівні. Розбивайте складні завдання на менші та дешевші підзавдання.
- Налаштуйте резервний варіант (fallback). Якщо стаття занадто складна, використовуйте високоякісну модель, наприклад GPT-4, лише для таких конкретних випадків.
Припиніть надсилати величезні блоки тексту дорогим моделям. Спочатку стискайте дані.
Як ви балансуєте між якістю ШІ та вартістю у своїх продуктах? Чи використовуєте ви різні моделі для різних завдань?