LongStraw thông báo rằng kỹ thuật branch-replay của họ có thể xử lý 2,1 triệu vị trí token cho quá trình hậu huấn luyện bằng học tăng cường (RL) chỉ với tám GPU H20, giúp cắt giảm chi phí phần cứng xuống 10 lần. Tuyên bố này có ý nghĩa quan trọng vì việc huấn luyện các mô hình ngữ cảnh dài theo truyền thống đòi hỏi hàng chục GPU cao cấp, một rào cản đối với hầu hết các phòng thí nghiệm nghiên cứu và startup.

Tại sao RL ngữ cảnh dài lại đắt đỏ

Việc tinh chỉnh các mô hình ngôn ngữ lớn dựa trên RL thường thực hiện các lượt rollout để tạo ra nhiều phương án hoàn thiện khác nhau cho cùng một prompt. Mỗi lượt rollout phải được lan truyền ngược (back-propagated), do đó chi phí tính toán tỷ lệ thuận với tổng số vị trí token được xử lý. Các quy trình hiện tại nhằm hướng tới ngữ cảnh một triệu token thường cần từ 64 đến 128 GPU để hoàn thành trong một khoảng thời gian hợp lý. Chi phí phần cứng đó, cộng với điện năng và hệ thống làm mát cần thiết, đã hạn chế mức độ mà những người thực hành có thể đẩy dài ngữ cảnh.

Cách branch-replay cắt giảm khối lượng công việc

Cách tiếp cận của LongStraw dựa trên hai quan sát về quá trình tạo (generation) của transformer:

  • Prompt và phần đầu của câu trả lời là giống nhau giữa các lượt rollout.
  • Chỉ có phần đuôi phân kỳ (divergent tail) của mỗi câu trả lời mới thực sự cần tính toán mới.

Hệ thống xây dựng một ngăn xếp thực thi nhận biết kiến trúc (architecture-aware execution stack) để ghi lại các giá trị kích hoạt (activations) cho phần tiền tố dùng chung. Khi một nhánh mới được khám phá, nó sẽ phát lại (replay) phần tiền tố đã được lưu trong bộ nhớ đệm thay vì tính toán lại, sau đó chỉ chạy lượt lan truyền ngược (backward pass) trên phân đoạn mới. Trong thực tế, điều này có nghĩa là lượt lan truyền ngược chạm đến ít vị trí token hơn nhiều, mang lại mức giảm từ 8 đến 16 lần về tính toán thô.

Tác động tức thì

  • Xử lý 2,1 triệu vị trí token trên tám GPU H20, một mức ngân sách phần cứng mà thông thường chỉ có thể đáp ứng một phần nhỏ khối lượng công việc đó.
  • Nhắm trực tiếp vào nút thắt cổ chai trong RL ngữ cảnh dài, nơi chi phí bộ nhớ và tính toán tăng vọt khi ngữ cảnh mở rộng.
  • Các phòng thí nghiệm có thể thay đổi việc phân bổ GPU: cùng một phần cứng, vốn chủ yếu là bộ tăng tốc suy luận (inference accelerator), giờ đây có thể được sử dụng để huấn luyện, mặc dù kết quả có thể khác biệt trên các dòng card khác.

Các câu hỏi mở và giới hạn

Thông báo này bỏ qua các số liệu về tốc độ huấn luyện và đường cong hội tụ (convergence curves), vì vậy chúng ta không biết liệu việc cắt giảm tính toán có giúp rút ngắn thời gian thực tế (wall-clock time) hay chỉ làm giảm mức độ sử dụng GPU (GPU occupancy). Phương pháp này được mô tả cho việc lấy mẫu tự hồi quy (autoregressive sampling); hành vi của nó với các chiến lược phi tự hồi quy hoặc hỗn hợp vẫn chưa được kiểm chứng. Vì H20 chủ yếu là một bộ tăng tốc suy luận, hiệu suất trên các dòng card huấn luyện phổ biến hơn như H100 hoặc B200 có thể sẽ khác nhau.

Các bài kiểm tra (benchmark) độc lập vẫn chưa xác minh các con số của LongStraw. Nếu không có sự xác nhận từ bên thứ ba, cộng đồng nên coi các kết quả này là đầy hứa hẹn nhưng chỉ mang tính tạm thời.

Tầm quan trọng

Nếu ý tưởng branch-replay được mở rộng sang các thuật toán tinh chỉnh RL khác như Direct Preference Optimization (DPO) hoặc Proximal Policy Optimization (PPO), rào cản chi phí cho các mô hình ngữ cảnh dài có thể sẽ bị xóa bỏ.

Những điều cần theo dõi

  • Các nỗ lực tái lập từ bên thứ ba trên nhiều kiến trúc GPU khác nhau.
  • Các cập nhật từ LongStraw về thông lượng huấn luyện (training throughput) và chất lượng mô hình cuối cùng so với các quy trình cơ sở (baseline pipelines).