Ваша модель на 70 млрд параметров больше никому не нужна

Раньше мир ИИ фокусировался только на масштабе.

Люди гнались за всё более крупными моделями, большими контекстными окнами и высокими показателями в бенчмарках. Если ваша модель не была массивной, вы не участвовали в игре.

Эта эра подходит к концу.

Массивные модели впечатляют. Но большинству людей не нужна такая мощь. Ассистенту в приборной панели автомобиля не нужно писать стихи. Ему нужно понимать команду «убавь кондиционер» и работать, не разряжая аккумулятор.

Маленькие специализированные модели захватывают рынок по пяти основным причинам:

  • Использование на устройствах: У телефонов теперь есть аппаратное обеспечение для локального запуска небольших моделей. Ваш ассистент будет работать в туннеле или во время полета без интернета.
  • Конфиденциальность и регулирование: Больницы и юридические фирмы не могут отправлять конфиденциальные данные в сторонние API. Запуск небольшой модели на локальном оборудовании позволяет хранить данные внутри организации.
  • Низкая задержка: Беспилотный автомобиль не может ждать ответа от облачного сервера, чтобы решить, является ли объект пешеходом. Модель должна находиться там, где принимается решение.
  • Снижение затрат: Обработка миллионов запросов на массивной модели съедает вашу прибыль. Настроенная маленькая модель часто обходится дешевле и является более устойчивой.
  • Плохая связь: Во многих частях мира интернет-соединение нестабильно. Маленькие модели позволяют продуктам работать офлайн.

Вы можете уменьшить модели тремя основными способами:

  • Квантование (Quantization): Снижение точности весов модели для экономии места.
  • Прунинг (Pruning): Удаление ненужных связей, которые не приносят пользы.
  • Дистилляция знаний (Knowledge distillation): Использование большой модели для обучения маленькой имитировать её логику рассуждений.

Этот сдвиг меняет набор необходимых навыков.

Промптинг гигантской модели — это один навык. Выбор, тонкая настройка (fine-tuning) и развертывание специализированной модели — это совсем другая инженерная задача. Речь идет о поиске компромисса между скоростью, стоимостью и точностью.

Перестаньте пытаться создать один гигантский инструмент, который плохо делает всё. Создавайте несколько маленьких инструментов, которые хорошо делают что-то одно.

Маленькая модель — это не шаг назад. Это лучший инструмент для конкретной задачи.

Источник: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi