Direct Preference Optimization (DPO) consente agli sviluppatori di effettuare il fine-tuning di grandi modelli linguistici senza dover addestrare un modello di ricompensa separato o eseguire un ciclo di apprendimento per rinforzo (RL), riducendo drasticamente sia i costi computazionali sia l'instabilità che spesso affligge le pipeline tradizionali di RL-from-human-feedback.

Perché l'RL-from-Human-Feedback risulta pesante

La procedura standard di RL-from-human-feedback (RLHF) si articola in tre fasi. Per prima cosa, un modello base viene sottoposto a fine-tuning su un dataset curato. Successivamente, un modello di ricompensa (reward model) impara a prevedere la preferenza umana tra coppie di output. Infine, i professionisti eseguono il Proximal Policy Optimization (PPO) – un classico algoritmo di RL – per spingere la policy verso ricompense previste più elevate, pur rimanendo vicini al modello originale.

Questa configurazione a tre modelli occupa la memoria simultaneamente e impone un costoso ciclo di RL che campiona nuovo testo a ogni aggiornamento. Spesso i team osservano che la policy impara a "imbrogliare" (game) il sistema di ricompensa, producendo output che ottengono punteggi elevati sul proxy ma non raggiungono la qualità desiderata. Il risultato è una pipeline costosa, fragile e difficile da scalare.

La scorciatoia algebrica di DPO

DPO salta completamente il modello di ricompensa. L'osservazione chiave è che l'obiettivo dell'RLHF – massimizzare la ricompensa attesa penalizzando al contempo la divergenza dal modello di riferimento – ha un'espressione in forma chiusa. Riorganizzando la matematica, la ricompensa per qualsiasi token diventa la differenza tra la log-probabilità assegnata dalla policy e quella assegnata dal modello di riferimento.

In pratica, questo significa che la "ricompensa" risiede all'interno della policy stessa. L'addestramento si riduce a una singola funzione di perdita di classificazione (classification loss) su coppie di preferenza: data una risposta scelta e una rifiutata, il modello viene spinto ad assegnare una probabilità maggiore al testo scelto. Nessun campionamento, nessun aggiornamento PPO, nessun modello extra da memorizzare.

Come appare la nuova funzione di perdita (loss)

La loss confronta la log-probabilità della risposta preferita sotto la policy attuale con quella sotto il modello di riferimento, scalata da un iperparametro simile alla temperatura β. Un valore di β elevato costringe la policy a rimanere vicina al riferimento, preservando fluidità e sicurezza. Un valore di β basso permette alla policy di allontanarsi maggiormente, accentuando la sua preferenza per la risposta scelta.

Vantaggi rilevanti per gli sviluppatori

  • Nessun modello di ricompensa – elimina la necessità di raccogliere feedback umani aggiuntivi per un predittore separato.
  • Nessun campionamento durante l'addestramento – il modello non genera mai nuovo testo per calcolare i gradienti, riducendo drasticamente i tempi di utilizzo della GPU.
  • Stabilità – una standard binary-cross-entropy loss sostituisce i gradienti RL ad alta varianza che spesso causano divergenza.
  • Efficienza – un singolo passo di gradiente su ogni coppia di preferenza è sufficiente; l'addestramento converge in molti meno epoch rispetto a PPO.

I primi esperimenti mostrano che DPO eguaglia o supera le prestazioni di PPO su dataset di benchmark per le preferenze, utilizzando solo una frazione del budget computazionale. Questo vantaggio in termini di costi spiega perché molti progetti open-source abbiano già adottato DPO o una sua variante stretta come metodo di allineamento predefinito.

I compromessi

DPO lavora su un set fisso di coppie di preferenza. Poiché non campiona mai nuovi completamenti durante l'addestramento, non può esplorare spazi di risposta che erano assenti nei dati originali. Al contrario, un'esecuzione online di PPO può scoprire comportamenti nuovi e con ricompense più elevate sondando costantemente il modello.

Se β è impostato troppo basso o se l'addestramento prosegue per troppi step, la policy potrebbe allontanarsi dal modello di riferimento al punto da perdere fluidità o introdurre artefatti indesiderati.

In sintesi

Direct Preference Optimization sostituisce lo stack RLHF a tre modelli e ad alto carico di RL con una singola loss stabile che apprende direttamente dalle coppie di preferenza umane. Il risultato è un percorso più economico e prevedibile per l'allineamento dei modelli linguistici, a patto che i dati di addestramento catturino i comportamenti necessari e che il parametro di deriva (drift) sia mantenuto sotto controllo.