Лише один із 33 регіонів AWS Bedrock — us-west-2 — дозволяє виконувати fine-tuning моделі Llama 3.3 із 70 мільярдами параметрів. Розробникам доводиться або створювати складні міжрегіональні конвеєри (pipelines), або використовувати незручні обхідні шляхи.

Чому це відкриття важливе

На публічній сторінці цін AWS досі вказано вартість навчання для старішої серії Llama 2. Новіші сімейства Llama 3.1 та 3.3 повністю відсутні. Інженерам доводиться вгадувати, які саме регіони насправді підтримують fine-tuning, як довго завдання будуть перебувати в чергах і чи буде тарифікуватися час очікування.

Конкретні цифри

  • us-west-2 — єдиний регіон, де працює fine-tuning Llama 3.3 70B.
  • us-east-1 — лише моделі від Amazon; fine-tuning Llama або Anthropic недоступний.
  • eu-west-2 (London) — дозволяє донавчати лише одну модель, не належну до Llama.
  • Усі інші регіони — повертають помилку «model not available» для Llama 3.3 70B.

Якщо вам потрібна кастомна модель Llama 3.3 70B, запускайте завдання в us-west-2 та передавайте дані між регіонами або спробуйте шлях «Custom Model Import», проте спроба автора призвела до збою з загальною помилкою обладнання (hardware error).

Custom Model Import: ризикований обхідний шлях

У документації AWS стверджується, що «Custom Model Import» дозволяє переносити ваги розміром до 200 ГБ у будь-який регіон, зокрема eu-central-1. Насправді ж спроби імпортувати Llama 3.3 70B (що значно перевищує цей розмір) неодноразово завершувалися помилкою «hardware error». Наразі найбезпечнішим варіантом залишається нативний endpoint для fine-tuning у us-west-2.

Дві хитрощі, що заощаджують гроші (і нерви)

  1. Не довіряйте прапорцю «InProgress» верхнього рівня. Завдання може годинами перебувати в черзі під керуванням AWS зі станом «InProgress», хоча обчислювальні ресурси ще не задіяні. Тарифікація починається лише тоді, коли вкладене поле trainingDetails змінюється на «Running». Перевіряйте внутрішній прапорець, щоб не платити за час очікування в черзі.
  2. Терпіння краще за поспіх. Одне тестове завдання протрималося в черзі 23 години, перш ніж навчання розпочалося, і пройшло без жодних проблем. Скасування та повторний запуск відправили його в кінець черги, збільшивши загальний час очікування. Час у черзі безкоштовний; оплата починається лише після запуску GPU-інстансів.

Інші практичні уроки

  • Схеми моделей відрізняються. Llama 3.3 та Llama 3.1 використовують різні об'єкти конфігурації. Копіювання JSON-схеми з однієї версії в іншу викликає помилки валідації, навіть якщо такі обмеження, як довжина токенів, збігаються.
  • Особливості квот. Ліміт на «Custom models with a creating status» часто набагато нижчий за загальну квоту на завдання. Якщо ви отримуєте помилку «quota exceeded», поки попереднє завдання все ще має статус «creating», видаліть застарілий запис перед запуском нового.
  • Витрати на сховище накопичуються. Кожен чекпоінт (checkpoint) після донавчання займає місце в S3, що тарифікується за стандартними ставками. Зберігання старих версій без потреби збільшує ваш щомісячний рахунок, не приносячи жодної користі.

Підсумок

Якщо ваш проєкт залежить від донавченої моделі Llama 3.3 70B, плануйте виконання цього етапу в us-west-2 або будьте готові до методів спроб і помилок із кастомним імпортом. Перевіряйте статус черги на детальному рівні, не скасовуйте завдання, що довго очікують, і уважно стежте за використанням сховища та квот.