Fine-tuning vs RAG: Dua Cara Mengajar LLM
Anda ingin LLM mengetahui dokumen pribadi atau berita terbaru Anda. Anda memiliki dua pilihan: RAG atau fine-tuning. Orang sering kali memilih yang salah.
Aturannya sederhana. Gunakan RAG untuk fakta. Gunakan fine-tuning untuk perilaku.
RAG (Retrieval-Augmented Generation) Ini bertindak seperti ujian buku terbuka. Anda menyimpan data di luar model. Anda mengambil informasi yang relevan dan menempelkannya ke dalam prompt.
- Gunakan untuk pengetahuan.
- Gunakan untuk fakta yang sering berubah.
- Murah.
- Terupdate secara instan.
- Mencantumkan sumber.
Fine-tuning Ini bertindak seperti menginternalisasi kebiasaan baru. Anda melatih model dengan contoh-contoh spesifik.
- Gunakan untuk perilaku.
- Gunakan untuk nada dan format.
- Gunakan untuk keterampilan khusus.
- Memerlukan proses pelatihan.
- Memerlukan contoh yang dikurasi.
- Menjadi usang seiring perubahan fakta.
Cara memilih: Tanyakan pada diri sendiri apakah Anda membutuhkan fakta atau cara berperilaku.
Gunakan RAG jika Anda perlu memperbarui:
- Katalog produk.
- Kebijakan perusahaan.
- Berita harian.
Gunakan fine-tuning jika Anda membutuhkan:
- Suara merek (brand voice) yang spesifik.
- Format output JSON yang ketat.
Pendekatan terbaik sering kali menggabungkan keduanya. Lakukan fine-tuning untuk cara model menjawab. Gunakan RAG untuk fakta apa yang digunakannya. Sebuah bot dukungan menggunakan fine-tuning agar terdengar profesional dan RAG untuk mengakses artikel bantuan terbaru.
Mulailah dengan prompting dan RAG. Beralihlah ke fine-tuning hanya jika benar-benar perlu.
Uji skenario ini di sini: https://dev48v.infy.uk/ai/days/day10-finetune-vs-rag.html
Sumber: https://dev.to/dev48v/fine-tuning-vs-rag-two-ways-to-teach-an-llm-3d04
Komunitas belajar opsional: https://t.me/GyaanSetuAi