Червневий звіт Vercel щодо частки токенів показує, що моделі з відкритими вагами обробляють 29% токенів шлюзу, порівняно з 11% у квітні, причому на одну лише DeepSeek припадає 22,6% цього обсягу. Таке різке зростання свідчить про стрімку зміну: розробники відмовляються від пошуку однієї «найкращої» моделі та починають ставитися до моделей ШІ як до маршрутизованої інфраструктури.

Чому розробники ставляться до моделей як до інфраструктури

Дешеві моделі з відкритими вагами — багато з яких надаються китайськими провайдерами — коштують лише частку від вартості преміальних рішень, таких як Anthropic. Для рутинних завдань, як-от вилучення коду, очищення тексту або простий пошук даних, модель, що коштує центи замість доларів, може бути привабливішою, навіть якщо вона на кілька відсотків менш точна.

Результатом є новий патерн проєктування. Додаток спочатку надсилає запит на дешеву модель для виконання «нудної» частини роботи. Якщо результат проходить просту перевірку якості, конвеєр продовжується; якщо ні — викликається дорожча модель для повторного проходу або прийняття остаточного рішення. Критично важливим елементом стає логіка маршрутизації, а не вибір однієї конкретної моделі.

Про що говорять цифри

Дані Vercel, отримані через її шлюз, що обслуговує кількох постачальників ШІ, показують, що моделі з відкритими вагами переходять із периферії до основного потоку. У квітні на них припадало трохи більше однієї десятої всіх токенів; до червня їхня частка наблизилася до третини. DeepSeek, китайська модель, самостійно забезпечила понад п'яту частину обсягу токенів.

Високотехнологічні моделі все ще домінують у витратах. Anthropic, наприклад, продовжує отримувати основну частину грошових витрат, оскільки її ціна за токен вища. Математика тут проста: дешеві моделі забирають великі обсяги роботи з низькою маржинальністю, тоді як дорогі моделі залишаються для високоефективних завдань із високою маржинальністю.

Наслідки для ШІ-агентів

ШІ-агент зазвичай виконує послідовність кроків: планування, пошук даних, виклик інструментів та вдосконалення результату. Коли кожен крок можна закріпити за найбільш економічно вигідною моделлю, загальні операційні витрати різко знижуються.

  • Пошук та вилучення даних часто потребують лише базового розуміння мови — завдання, у якому дешеві моделі демонструють чудові результати.
  • Остаточне рішення — етап, на якому вирішується, чи є відповідь прийнятною, — залишається сферою преміальних моделей, які мають вищу надійність.

Такий багаторівневий підхід дозволяє розробникам автоматизувати більші обсяги роботи без надмірного збільшення бюджетів. Це також змушує змінити парадигму з «вибрати найкращу модель» на «вимірювати успіх кожного кроку та маршрутизувати відповідно».

Ризики та обмеження

Економічна вигода є переконливою, але перехід не є безпроблемним.

  • Комплаєнс: деякі юрисдикції встановлюють суворі правила обробки даних, що може обмежити використання моделей, розміщених за кордоном.
  • Складність хостингу: великі преміальні моделі важко запускати на власних потужностях, тому організації змушені покладатися на зовнішні API, що може підвищити затримку (latency) та створити ризик прив'язки до постачальника (vendor lock-in).

Через ці фактори дешеві моделі навряд чи повністю замінять преміальні. Натомість вони стануть стандартом для рутинної роботи, тоді як преміальні моделі залишаться на «рівні прийняття рішень», де їхня вища вартість є виправданою.

На що варто звернути увагу далі

  • Інструментарій для маршрутизації: оскільки рівень маршрутизації стає центральним, ми можемо очікувати хвилю SDK та платформ, які автоматизуватимуть вибір моделі на основі затримки, вартості та порогів впевненості.

Розробники, які почнуть вимірювати успіх на рівні завдань, відстежувати повторні спроби та чітко відокремлювати «обсяг» від «прийняття рішень», матимуть найкращі позиції для отримання прибутку від цього нового підходу до інфраструктури.

Головний висновок: ШІ-стек трансформується з вибору однієї моделі в задачу маршрутизації, де дешеві моделі з відкритими вагами обробляють основну масу роботи, а преміальні моделі резервуються для критично важливих рішень. Опанування цієї маршрутизації стане наступною конкурентною перевагою для розробників ШІ.