Десятикратное падение цен — это ставка на архитектуру
Инженеры тратят часы на переписывание промптов, чтобы сэкономить несколько токенов. Эти усилия часто напрасны.
Токены не бесплатны, но стоимость ИИ падает слишком быстро. Стоимость определенного уровня производительности ИИ снижается примерно в 10 раз каждый год. Это называют LLMflation.
Данные показывают, что этот тренд реален:
- Качество уровня GPT-3 в 2021 году стоило $60 за миллион токенов.
- Сейчас с использованием Llama 3.2 3B это стоит около $0.06.
- Это падение в 1000 раз за три года.
- Стоимость качества уровня GPT-3.5 упала в 280 раз всего за 18 месяцев.
Передовые (frontier) модели остаются дорогими. Но цены на модели, которые вы используете для стандартных задач, стремительно падают. Если вы оптимизируете систему под сегодняшние цены, вы оптимизируете её под число, которое исчезнет через несколько месяцев.
Не фокусируйтесь на трюках с промптами. Фокусируйтесь на архитектуре.
Следуйте этим трем правилам, чтобы победить:
• Относитесь к модели как к компоненту. Используйте единый интерфейс для входных и выходных данных. Не прописывайте конкретные модели жестко (hard-code) в приложении. Это позволит вам менять модели простым изменением конфигурации.
• Сначала создайте систему оценки (evaluation harness). Вам нужен тестовый набор, чтобы доказать, что новая, более дешевая модель работает так же хорошо, как и старая. Без тестов вы застрянете на дорогих моделях, потому что будете бояться что-то сломать.
• Инвестируйте в то, что не дешевеет. Качество ваших данных, системы поиска (retrieval systems), защитные механизмы (guardrails) и пользовательский опыт не снижаются в цене в 10 раз ежегодно. Дешевеет только модель.
Перестаньте заниматься fine-tuning для повышения базовых возможностей. Fine-tuning — это ставка против тренда. Вы привязываете свои данные и инфраструктуру к одной конкретной модели. Когда появляется новая базовая модель, ваша дообученная модель становится дорогим пережитком прошлого. Делайте fine-tuning только для того, что остается неизменным, например, для специфического тона вашего бренда или уникальных форматов данных.
Победная стратегия — построить систему, в которой замена моделей тривиальна. Перестаньте считать токены. Проектируйте свой продукт так, чтобы он следовал за нисходящей кривой цен.
Optional learning community: https://t.me/GyaanSetuAi