𝗟𝗟𝗠 𝗙𝗶𝗻𝗲-𝗧𝘂𝗻𝗶𝗻𝗴 𝟮𝟬𝟮𝟲: 𝗣𝗮𝗻𝗱𝘂𝗮𝗻 𝗟𝗲𝗻𝗴𝗸𝗮𝗽

Fine-tuning model bahasa besar telah berubah. Pada tahun 2026, anda tidak memerlukan kluster besar untuk melatih model 70B. Anda boleh melakukannya pada satu GPU pengguna sahaja.

Matlamatnya bukan lagi untuk bertanya sama ada anda boleh melakukan fine-tuning. Matlamatnya adalah untuk mengetahui bila anda patut melakukannya.

Berikut adalah cara untuk mendekati fine-tuning pada hari ini.

When to use fine-tuning:

  • Untuk menetapkan skema JSON atau format API yang khusus.
  • Untuk mengajar jargon domain seperti istilah perubatan atau undang-undang.
  • Untuk mengawal nada dan tingkah laku penolakan (refusal behavior) sesuatu model.
  • Untuk memampatkan model besar kepada model yang lebih kecil dan lebih pantas.

When to avoid fine-tuning:

  • Jangan gunakannya untuk mengajar fakta baharu. Gunakan RAG untuk pengetahuan. Fine-tuning untuk fakta akan menyebabkan data lapuk dan halusinasi.

The 2026 Training Methods:

  • LoRA: Anda hanya melatih 1% daripada parameter model. Ia pantas dan murah.
  • QLoRA: Ini menggunakan kuantisasi 4-bit. Ia membolehkan anda menjalankan model besar pada perkakasan seperti RTX 4090.
  • DPO: Ini adalah kaedah terbaik untuk alignment. Anda menunjukkan respons "chosen" berbanding "rejected" kepada model untuk membentuk tingkah lakunya.

Performance Benchmarks: Data terkini menunjukkan QLoRA menyamai kualiti fine-tuning penuh dalam lingkungan 1%. Fine-tuning penuh jarang sekali berbaloi dengan peningkatan kos sebanyak 50 kali ganda.

Best Practices for Success:

  • Gunakan rank LoRA (r) sebanyak 16 untuk kebanyakan tugasan.
  • Sasarkan kesemua tujuh lapisan linear untuk memastikan kualiti tinggi.
  • Kekalkan learning rate anda sekitar 2e-4 untuk tugasan standard.
  • Hadkan latihan kepada 1 hingga 3 epoch untuk mengelakkan overfitting.
  • Gunakan Unsloth untuk mendapatkan kelajuan latihan 2x hingga 5x lebih pantas.

The Golden Rule: Fine-tuning adalah untuk tingkah laku, bukan fakta. Kuasai prompt engineering dan pipeline RAG anda terlebih dahulu. Hanya lakukan fine-tuning apabila anda perlu mengubah cara model bertindak.

Source: https://dev.to/techmag/llm-fine-tuning-2026-complete-lora-qlora-full-fine-tuning-guide-3le8

Optional learning community: https://t.me/GyaanSetuAi