Только один из 33 регионов AWS Bedrock — us-west-2 — позволяет выполнять fine-tuning модели Llama 3.3 с 70 миллиардами параметров. Разработчикам приходится либо собирать кросс-региональные конвейеры (pipelines), либо мириться с неудобными обходными путями.

Почему это открытие важно

На публичной странице цен AWS всё еще указана стоимость обучения для старой серии Llama 2. Новые семейства Llama 3.1 и 3.3 полностью отсутствуют. Инженерам приходится гадать, какие регионы на самом деле поддерживают fine-tuning, сколько времени задачи будут находиться в очередях и будет ли тарифоваться время простоя.

Конкретные цифры

  • us-west-2 — единственный регион, где работает fine-tuning Llama 3.3 70B.
  • us-east-1 — только модели от Amazon; fine-tuning Llama или Anthropic недоступен.
  • eu-west-2 (Лондон) — позволяет настраивать только одну модель, не относящуюся к Llama.
  • Все остальные регионы — возвращают ошибку «model not available» для Llama 3.3 70B.

Если вам нужна кастомная Llama 3.3 70B, запускайте задачу в us-west-2 и передавайте данные между регионами или попробуйте путь «Custom Model Import», попытка которого у автора закончилась общей ошибкой оборудования (hardware error).

Custom Model Import: рискованный обходной путь

В документации AWS утверждается, что «Custom Model Import» позволяет переносить веса размером менее 200 ГБ в любой регион, включая eu-central-1. На деле попытки импортировать Llama 3.3 70B (размер которой значительно превышает этот лимит) раз за разом приводят к «hardware error». На данный момент самым надежным вариантом остается нативный эндпоинт fine-tuning в us-west-2.

Два трюка, которые экономят деньги (и нервы)

  1. Не доверяйте флагу «InProgress» верхнего уровня. Задача может часами висеть в очереди под управлением AWS со статусом «InProgress», при этом вычисления не выполняются. Тарификация начинается только тогда, когда вложенное поле trainingDetails меняется на «Running». Проверяйте внутренний флаг, чтобы не платить за время ожидания в очереди.
  2. Терпение лучше нетерпения. Одна тестовая задача провисела в очереди 23 часа, прежде чем началось обучение, и завершилась без проблем. Прерывание и перезапуск задачи отправили её в конец очереди, увеличив общее время ожидания. Время в очереди бесплатно; оплата начинается только после запуска GPU-инстансов.

Другие уроки из практики

  • Схемы моделей различаются. Llama 3.3 и Llama 3.1 используют разные объекты конфигурации. Копирование JSON-схемы из одной версии в другую вызывает ошибки валидации, даже если такие ограничения, как длина токенов, совпадают.
  • Особенности квот. Лимит на «Custom models with a creating status» часто намного ниже общей квоты на задачи. Если вы получаете ошибку «quota exceeded», в то время как предыдущая задача всё еще имеет статус «creating», удалите устаревшую запись перед запуском новой.
  • Расходы на хранение накапливаются. Каждый чекпоинт после fine-tuning занимает место в S3, которое оплачивается по стандартным тарифам. Хранение старых версий без необходимости раздувает ваш ежемесячный счет, не принося пользы.

Итог

Если ваш проект завязан на fine-tuned модели Llama 3.3 70B, планируйте выполнять этот этап в us-west-2 или готовьтесь к методу проб и ошибок с кастомным импортом. Проверяйте статус очереди на детальном уровне, не спешите прерывать долго ожидающие задачи и внимательно следите за использованием хранилища и квот.