LongStraw оголосила, що її техніка branch-replay дозволяє обробляти 2,1 мільйона токенних позицій для постнавчання з використанням навчання з підкріпленням (RL) лише на восьми GPU H20, що скорочує витрати на обладнання на порядок. Ця заява є важливою, оскільки навчання моделей з довгим контекстом традиційно потребувало десятків високопродуктивних GPU, що було бар'єром для більшості дослідницьких лабораторій і стартапів.

Чому RL з довгим контекстом є дорогим

Тонке налаштування великих мовних моделей на основі RL зазвичай виконує роллаути, які генерують багато альтернативних варіантів завершення для одного й того самого промпту. Кожен роллаут має пройти через зворотне поширення (back-propagation), тому обчислювальна вартість масштабується відповідно до загальної кількості оброблених токенних позицій. Сучасні конвеєри, що орієнтовані на контекст у мільйон токенів, часто потребують від 64 до 128 GPU, щоб завершити роботу в прийнятні часові межі. Вартість такого обладнання, а також витрати на електроенергію та охолодження, що воно потребує, обмежують те, наскільки далеко практики можуть розширювати довжину контексту.

Як branch replay зменшує навантаження

Підхід LongStraw ґрунтується на двох спостереженнях щодо генерації трансформерами:

  • Промпт і початкова частина відповіді є ідентичними в усіх роллаутах.
  • Лише дивергентний хвіст кожної відповіді насправді потребує нових обчислень.

Система будує архітектурно-адаптований стек виконання, який записує активації для спільного префікса. Коли досліджується нова гілка, вона повторно відтворює кешований префікс замість того, щоб обчислювати його заново, а потім виконує зворотний прохід лише на новому сегменті. На практиці це означає, що зворотний прохід торкається набагато меншої кількості токенних позицій, забезпечуючи 8- або 16-кратне скорочення чистих обчислень.

Негайний ефект

  • 2,1 млн токенних позицій, оброблених на восьми GPU H20 — це апаратний бюджет, який зазвичай дозволив би обробити лише малу частину такого навантаження.
  • Пряме усунення вузького місця в RL з довгим контекстом, де витрати на пам'ять та обчислення стрімко зростають зі збільшенням контексту.
  • Лабораторії можуть змінити розподіл GPU: те саме обладнання, яке переважно є прискорювачем інференсу, тепер може використовуватися для навчання, хоча результати на інших картах можуть відрізнятися.

Відкриті питання та обмеження

В анонсі відсутні дані про швидкість навчання та криві збіжності, тому ми не знаємо, чи призводить скорочення обчислень до зменшення реального часу (wall-clock time), чи просто до нижчої завантаженості GPU. Метод описаний для авторегресійного семплювання; його поведінка з неавторегресійними або гібридними стратегіями залишається неперевіреною. Оскільки H20 є переважно прискорювачем інференсу, продуктивність на більш поширених картах для навчання, таких як H100 або B200, може відрізнятися.

Незалежні бенчмарки ще не підтвердили показники LongStraw. Без сторонньої перевірки спільноті варто сприймати ці результати як перспективні, але попередні.

Що стоїть на кону

Якщо ідея branch-replay пошириться на інші алгоритми тонкого налаштування RL, такі як Direct Preference Optimization (DPO) або Proximal Policy Optimization (PPO), бар'єр вартості для моделей з довгим контекстом може зникнути.

За чим стежити

  • Спроби стороннього відтворення результатів на різних архітектурах GPU.
  • Оновлення від LongStraw щодо пропускної здатності навчання та кінцевої якості моделей порівняно з базовими конвеєрами.