Chỉ một trong 33 vùng của AWS Bedrock—us-west-2—cho phép bạn tinh chỉnh (fine-tune) mô hình Llama 3.3 với 70 tỷ tham số. Các nhà phát triển buộc phải kết nối các đường ống (pipelines) xuyên vùng hoặc phải chấp nhận một giải pháp thay thế rườm rà.

Tại sao phát hiện này lại quan trọng

Trang giá công khai của AWS vẫn liệt kê chi phí đào tạo cho dòng Llama 2 cũ hơn. Các dòng Llama 3.1 và 3.3 mới hơn hoàn toàn không có trong danh sách. Các kỹ sư phải tự đoán xem vùng nào thực sự hỗ trợ tinh chỉnh, các tác vụ sẽ phải chờ trong hàng đợi bao lâu, và liệu thời gian chờ (idle time) có bị tính phí hay không.

Những con số thực tế

  • us-west-2 – vùng duy nhất hỗ trợ tinh chỉnh Llama 3.3 70B.
  • us-east-1 – chỉ dành cho các mô hình do Amazon xây dựng; không hỗ trợ tinh chỉnh Llama hay Anthropic.
  • eu-west-2 (London) – chỉ tinh chỉnh được một mô hình duy nhất không phải Llama.
  • Tất cả các vùng khác – trả về lỗi “model not available” đối với Llama 3.3 70B.

Nếu bạn cần một mô hình Llama 3.3 70B được tinh chỉnh riêng, hãy chạy tác vụ tại us-west-2 và chuyển dữ liệu qua các vùng, hoặc thử phương án “Custom Model Import”, nhưng nỗ lực của tác giả đã thất bại với một lỗi phần cứng chung chung.

Custom Model Import: một lối rẽ đầy rủi ro

Tài liệu của AWS khẳng định “Custom Model Import” có thể đưa các trọng số (weights) dưới 200 GB vào bất kỳ vùng nào, bao gồm cả eu-central-1. Trên thực tế, các nỗ lực nhập Llama 3.3 70B (vượt xa kích thước đó) liên tục gặp lỗi “hardware error”. Hiện tại, lựa chọn an toàn nhất vẫn là endpoint tinh chỉnh gốc tại us-west-2.

Hai mẹo giúp tiết kiệm tiền (và cả sự tỉnh táo)

  1. Đừng tin vào cờ “InProgress” ở cấp cao nhất. Một tác vụ có thể nằm trong hàng đợi do AWS quản lý trong nhiều giờ với trạng thái đó trong khi không có tài nguyên tính toán nào được chạy. Việc tính phí chỉ bắt đầu khi trường trainingDetails lồng bên trong chuyển sang “Running”. Hãy kiểm tra cờ bên trong để tránh phải trả tiền cho thời gian chờ trong hàng đợi.
  2. Kiên nhẫn tốt hơn nóng vội. Một tác vụ thử nghiệm đã nằm chờ trong hàng đợi suốt 23 giờ trước khi quá trình đào tạo bắt đầu và hoàn thành mà không gặp vấn đề gì. Việc hủy bỏ và chạy lại đã đẩy nó xuống cuối hàng, kéo dài tổng thời gian chờ. Thời gian chờ trong hàng đợi là miễn phí; chi phí chỉ bắt đầu phát sinh khi các instance GPU được khởi chạy.

Các bài học kinh nghiệm khác

  • Sơ đồ mô hình (Model schemas) khác nhau. Llama 3.3 và Llama 3.1 sử dụng các đối tượng cấu hình riêng biệt. Việc sao chép-dán một JSON schema từ phiên bản này sang phiên bản khác sẽ gây ra lỗi xác thực, ngay cả khi các giới hạn như độ dài token là giống nhau.
  • Những điểm kỳ lạ về hạn mức (Quota). Giới hạn cho “Custom models with a creating status” thường thấp hơn nhiều so với hạn mức tác vụ tổng thể. Nếu bạn gặp lỗi “quota exceeded” trong khi một tác vụ trước đó vẫn hiển thị “creating”, hãy xóa mục cũ đó trước khi khởi chạy một tác vụ mới.
  • Chi phí lưu trữ cộng dồn. Mỗi checkpoint được tinh chỉnh sẽ tiêu tốn dung lượng lưu trữ S3 và được tính phí theo mức tiêu chuẩn. Việc để lại các phiên bản cũ mà không xử lý sẽ làm tăng hóa đơn hàng tháng của bạn mà không mang lại giá trị gì.

Kết luận

Nếu dự án của bạn phụ thuộc vào mô hình Llama 3.3 70B được tinh chỉnh, hãy lên kế hoạch chạy bước đó tại us-west-2, hoặc chuẩn bị tinh thần cho việc thử sai với các bản import tùy chỉnh. Hãy kiểm tra trạng thái hàng đợi ở mức chi tiết, tránh hủy các tác vụ đang chờ đợi lâu, và theo dõi sát sao việc sử dụng lưu trữ cũng như hạn mức.