Direct Preference Optimization (DPO) membolehkan pembangun melakukan penalaan halus (fine-tune) pada model bahasa besar tanpa perlu melatih model ganjaran (reward model) yang berasingan atau menjalankan gelung pembelajaran pengukuhan (reinforcement-learning - RL), sekali gus mengurangkan kos pengkomputeran dan ketidakstabilan yang sering melanda saluran paip (pipeline) RL-daripada-maklum-balas-manusia tradisional.

Mengapa RL-daripada-maklum-balas-manusia terasa berat

Resipi standard RL-daripada-maklum-balas-manusia (RLHF) mempunyai tiga peringkat. Pertama, model asas ditala halus pada set data yang dikurasi. Seterusnya, model ganjaran belajar untuk meramalkan pilihan manusia antara pasangan output. Akhir sekali, pengamal menjalankan Proximal Policy Optimization (PPO) – algoritma RL klasik – untuk menolak polisi ke arah ganjaran ramalan yang lebih tinggi sambil kekal dekat dengan model asal.

Persediaan tiga-model tersebut menduduki memori secara serentak dan memaksa gelung RL yang mahal yang mengambil sampel teks baharu pada setiap kemas kini. Pasukan sering melihat polisi belajar untuk "memanipulasi" (game) ganjaran, menghasilkan output yang mendapat skor tinggi pada proksi tetapi gagal mencapai kualiti yang diinginkan. Hasilnya ialah saluran paip yang mahal, rapuh, dan sukar untuk diskalakan.

Jalan pintas algebra DPO

DPO melangkau model ganjaran sepenuhnya. Pemerhatian utama ialah objektif RLHF – memaksimumkan ganjaran jangkaan sambil menghukum penyimpangan daripada model rujukan – mempunyai ungkapan bentuk tertutup (closed-form expression). Dengan menyusun semula matematik tersebut, ganjaran bagi mana-mana token menjadi perbezaan antara log-kebarangkalian yang ditetapkan oleh polisi dan yang ditetapkan oleh model rujukan.

Dalam praktiknya, ini bermakna "ganjaran" itu wujud di dalam polisi itu sendiri. Latihan dikurangkan kepada satu kerugian klasifikasi (classification loss) tunggal pada pasangan pilihan: diberikan satu respons yang dipilih dan satu yang ditolak, model akan ditolak (nudged) untuk memberikan kebarangkalian yang lebih tinggi kepada teks yang dipilih. Tiada pensampelan, tiada kemas kini PPO, tiada model tambahan untuk disimpan.

Bagaimana rupa kerugian (loss) baharu tersebut

Kerugian tersebut membandingkan log-kebarangkalian jawapan pilihan di bawah polisi semasa dengan log-kebarangkalian di bawah model rujukan, yang diskalakan oleh hiperparameter seperti suhu (temperature-like) β. β yang tinggi memaksa polisi untuk kekal dekat dengan rujukan, mengekalkan kelancaran dan keselamatan. β yang rendah membiarkan polisi hanyut lebih jauh, menajamkan pilihannya terhadap jawapan yang dipilih.

Manfaat yang penting bagi pembangun

  • Tiada model ganjaran – menghapuskan keperluan untuk mengumpul maklum balas manusia tambahan bagi peramal berasingan.
  • Tiada pensampelan semasa latihan – model tidak pernah menjana teks baharu untuk mengira kecerunan (gradients), sekali gus mengurangkan masa GPU secara drastik.
  • Kestabilan – kerugian binary-cross-entropy standard menggantikan kecerunan RL varians tinggi yang sering menyebabkan penyimpangan (divergence).
  • Kecekapan – satu langkah kecerunan pada setiap pasangan pilihan sudah mencukupi; latihan mencapai penumpuan (converges) dalam jumlah epoch yang jauh lebih sedikit berbanding PPO.

Eksperimen awal menunjukkan DPO menyamai atau mengatasi prestasi PPO pada set data pilihan penanda aras sambil menggunakan sebahagian kecil bajet pengkomputeran. Kelebihan kos tersebut menjelaskan mengapa banyak projek sumber terbuka telah pun menggunakan DPO atau varian yang hampir dengannya sebagai kaedah penjajaran (alignment) lalai mereka.

Imbangan (Trade-offs)

DPO berfungsi pada set pasangan pilihan yang tetap. Oleh kerana ia tidak pernah mengambil sampel penyelesaian baharu semasa latihan, ia tidak dapat meneroka ruang jawapan yang tiada dalam data asal. Sebaliknya, pelaksanaan PPO dalam talian (online) boleh menemui tingkah laku baharu yang mempunyai ganjaran lebih tinggi dengan sentiasa menguji model tersebut.

Jika β ditetapkan terlalu rendah atau latihan dijalankan untuk terlalu banyak langkah, polisi mungkin hanyut terlalu jauh daripada model rujukan sehingga hilang kelancaran atau memperkenalkan artifak yang tidak diingini.

Kesimpulan

Direct Preference Optimization menggantikan timbunan RLHF tiga-model yang berat dengan RL kepada satu kerugian tunggal yang stabil yang belajar secara langsung daripada pasangan pilihan manusia. Hasilnya ialah laluan yang lebih murah dan lebih boleh diramal untuk menjajarkan model bahasa—asalkan data latihan merangkumi tingkah laku yang anda perlukan dan anda mengawal parameter hanyutan (drift parameter) tersebut.