DPO, 보상 모델 없이 LLM을 정렬하여 연산 비용을 획기적으로 절감하다

Direct Preference Optimization (DPO)를 사용하면 별도의 보상 모델을 학습시키거나 강화학습(RL) 루프를 실행할 필요 없이 대규모 언어 모델을 미세 조정할 수 있어, 연산 비용과 기존 RLHF 파이프라인에서 흔히 발생하는 불안정성을 모두 크게 줄일 수 있습니다.

RLHF가 무겁게 느껴지는 이유

표준 인간 피드백 기반 강화학습(RLHF) 방식은 세 단계로 구성됩니다. 첫째, 선별된 데이터셋으로 베이스 모델을 미세 조정합니다. 다음으로, 보상 모델이 출력 쌍 사이의 인간 선호도를 예측하도록 학습합니다. 마지막으로, 실무자들은 Proximal Policy Optimization (PPO)라는 고전적인 RL 알고리즘을 실행하여, 원래 모델과 유사성을 유지하면서도 예측된 보상이 높아지도록 정책(policy)을 밀어붙입니다.

이 세 모델 설정은 메모리에 동시에 상주해야 하며, 매 업데이트마다 새로운 텍스트를 샘플링하는 비용이 많이 드는 RL 루프를 강제합니다. 팀들은 종종 정책이 보상을 "게임(gaming)"하는 법을 배워, 대리 지표(proxy)에서는 높은 점수를 받지만 의도한 품질은 놓치는 현상을 목격합니다. 그 결과 파이프라인은 비용이 많이 들고, 취약하며, 확장하기 어렵습니다.

DPO의 대수적 지름길

DPO는 보상 모델을 완전히 건너뜁니다. 핵심 관찰은 RLHF의 목적 함수(참조 모델로부터의 발산을 억제하면서 기대 보상을 최대화하는 것)가 폐쇄형 수식(closed-form expression)으로 표현될 수 있다는 점입니다. 수학적으로 재구성하면, 임의의 토큰에 대한 보상은 정책이 할당한 로그 확률(log-probability)과 참조 모델이 할당한 로그 확률의 차이가 됩니다.

실제로 이는 "보상"이 정책 내부에 존재함을 의미합니다. 학습은 선호 쌍에 대한 단일 분류 손실(classification loss)로 단순화됩니다. 선택된 응답과 거부된 응답이 주어지면, 모델은 선택된 텍스트에 더 높은 확률을 할당하도록 유도됩니다. 샘플링도, PPO 업데이트도, 저장할 추가 모델도 필요 없습니다.

새로운 손실 함수(Loss)의 형태

손실 함수는 현재 정책 하에서의 선호 답변 로그 확률을 참조 모델 하에서의 로그 확률과 비교하며, 이때 온도(temperature)와 유사한 하이퍼파라미터 $\beta$로 스케일링합니다. $\beta$ 값이 높으면 정책이 참조 모델 근처에 머물도록 강제하여 유창성과 안전성을 보존합니다. $\beta$ 값이 낮으면 정책이 더 멀리 벗어날 수 있게 하여 선택된 답변에 대한 선호도를 날카롭게 만듭니다.

개발자에게 중요한 이점

• 보상 모델 불필요 – 별도의 예측기를 위한 추가적인 인간 피드백 수집 필요성을 제거합니다.
• 학습 중 샘플링 불필요 – 모델이 그래디언트를 계산하기 위해 새로운 텍스트를 생성할 필요가 없어 GPU 시간을 획기적으로 단축합니다.
• 안정성 – 발산을 자주 일으키는 고분산 RL 그래디언트 대신 표준 이진 교차 엔트로피(binary-cross-entropy) 손실을 사용합니다.
• 효율성 – 각 선호 쌍에 대한 단일 그래디언트 단계만으로 충분하며, PPO보다 훨씬 적은 에포크(epoch) 내에 학습이 수렴합니다.

초기 실험 결과에 따르면, DPO는 연산 예산의 극히 일부만을 사용하면서도 벤치마크 선호도 데이터셋에서 PPO의 성능과 대등하거나 이를 능가하는 것으로 나타났습니다. 이러한 비용 이점 덕분에 많은 오픈 소스 프로젝트가 이미 DPO 또는 그 변형 모델을 기본 정렬(alignment) 방법으로 채택하고 있습니다.

트레이드오프(Trade-offs)

DPO는 고정된 선호 쌍 세트에서 작동합니다. 학습 중에 새로운 완성을 샘플링하지 않기 때문에, 원래 데이터에 없던 답변 공간을 탐색할 수 없습니다. 반면, 온라인 PPO 실행은 모델을 지속적으로 조사함으로써 새롭고 더 높은 보상을 주는 행동을 발견할 수 있습니다.

만약 $\beta$가 너무 낮게 설정되거나 학습이 너무 많은 단계 동안 진행되면, 정책이 참조 모델에서 너무 멀어져 유창성을 잃거나 원치 않는 아티팩트(artefacts)가 발생할 수 있습니다.

요약

Direct Preference Optimization은 세 개의 모델과 무거운 RL이 필요한 RLHF 스택을 인간 선호 쌍으로부터 직접 학습하는 단일하고 안정적인 손실 함수로 대체합니다. 그 결과, 학습 데이터가 필요한 행동을 잘 포착하고 드리프트(drift) 파라미터를 적절히 제어한다면, 언어 모델을 정렬하는 데 있어 더 저렴하고 예측 가능한 경로를 제공합니다.