Hanya satu dari 33 region AWS Bedrock—us-west-2—yang memungkinkan Anda melakukan fine-tuning pada model Llama 3.3 dengan 70 miliar parameter. Pengembang harus merangkai pipeline lintas region atau menanggung solusi alternatif yang tidak praktis.

Mengapa temuan ini penting

Halaman harga publik AWS masih mencantumkan biaya pelatihan untuk seri Llama 2 yang lebih lama. Keluarga Llama 3.1 dan 3.3 yang lebih baru sama sekali tidak ada. Para engineer dibiarkan menebak-nebak region mana yang sebenarnya mendukung fine-tuning, berapa lama pekerjaan akan tertahan di antrean, dan apakah waktu menganggur (idle time) akan ditagih.

Angka-angka pastinya

  • us-west-2 – satu-satunya region di mana fine-tuning Llama 3.3 70B berfungsi.
  • us-east-1 – hanya untuk model buatan Amazon; tidak ada fine-tuning Llama atau Anthropic.
  • eu-west-2 (London) – melakukan fine-tuning pada satu model non-Llama.
  • Semua region lainnya – mengembalikan error “model not available” untuk Llama 3.3 70B.

Jika Anda membutuhkan Llama 3.3 70B yang telah di-tuning secara khusus, jalankan pekerjaan di us-west-2 dan kirimkan data lintas region, atau coba rute “Custom Model Import”, yang dalam percobaan penulis justru gagal dengan error hardware yang umum.

Custom Model Import: jalan memutar yang berisiko

Dokumentasi AWS mengklaim bahwa “Custom Model Import” dapat membawa bobot (weights) di bawah 200 GB ke region mana pun, termasuk eu-central-1. Kenyataannya, upaya untuk mengimpor Llama 3.3 70B (yang ukurannya jauh di atas itu) berulang kali mengalami “hardware error.” Untuk saat ini, pilihan paling aman tetap menggunakan endpoint fine-tuning asli di us-west-2.

Dua trik untuk menghemat uang (dan kewarasan)

  1. Jangan percaya flag “InProgress” di level teratas. Sebuah pekerjaan mungkin tertahan di antrean yang dikelola AWS selama berjam-jam dengan status tersebut sementara tidak ada komputasi yang berjalan. Penagihan baru dimulai ketika field trainingDetails yang bersarang berubah menjadi “Running.” Periksa flag bagian dalam untuk menghindari membayar waktu antrean yang menganggur.
  2. Kesabaran mengalahkan ketidaksabaran. Satu pekerjaan uji coba tertahan di antrean selama 23 jam sebelum pelatihan dimulai dan selesai tanpa masalah. Menghentikannya (killing) dan meluncurkan ulang justru mendorongnya ke urutan paling belakang, memperpanjang total waktu tunggu. Waktu antrean itu gratis; biaya baru akan muncul setelah instance GPU aktif.

Pelajaran lapangan lainnya

  • Skema model berbeda. Llama 3.3 dan Llama 3.1 menggunakan objek konfigurasi yang berbeda. Menyalin-tempel skema JSON dari satu versi ke versi lainnya akan memicu error validasi, meskipun batasan seperti panjang token sama.
  • Keanehan kuota. Batas pada “Custom models with a creating status” seringkali jauh lebih rendah daripada kuota pekerjaan secara keseluruhan. Jika Anda menemui error “quota exceeded” sementara pekerjaan sebelumnya masih menunjukkan status “creating,” hapus entri yang usang sebelum meluncurkan yang baru.
  • Penyimpanan terus bertambah. Setiap checkpoint hasil fine-tuning mengonsumsi penyimpanan S3 yang ditagih dengan tarif standar. Membiarkan versi lama tetap ada akan membengkakkan tagihan bulanan Anda tanpa memberikan nilai tambah.

Kesimpulan

Jika proyek Anda bergantung pada model Llama 3.3 70B yang telah di-fine-tune, rencanakan untuk menjalankan langkah tersebut di us-west-2, atau bersiaplah untuk uji coba (trial-and-error) dengan impor kustom. Verifikasi status antrean pada tingkat yang lebih mendalam (granular), tahan diri untuk tidak membatalkan pekerjaan yang sudah menunggu lama, dan pantau penggunaan penyimpanan serta kuota dengan cermat.