자동 평가 기준으로부터 Reward: 인간 선호도 구조를 명시적 다중 모드 생성 기준으로

대규모 언어 모델(LLM)의 선호도에 맞추기 위해 Reward Learning with Human Feedback(RLHF) 방법론이 사용되는데, 이러한 방법론은 인간의 선호도 구조를 스칼라 또는 쌍별 레이블로 축소시키는 문제를 가지고 있습니다. 이러한 문제를 해결하기 위해 Rubrics-as-Reward(RaR) 방법론이 제안되었지만, 이는 데이터 효율성과 확장성을 충족시키는 방법론이 아직 존재하지 않습니다.

이러한 문제를 해결하기 위해 Auto-Rubric as Reward(ARR) 프레임워크를 제안하였으며, 이는 Reward 모델링을 명시적 기준 기반 분해로 재정의합니다. ARR은 대규모 언어 모델(LLM)의 내부화된 선호도 지식을 외부화하여 PROMPT-특이적인 평가 기준으로 변환합니다. 이러한 변환은 인간의 선호도 구조를 명시적 기준으로 변환하여, 평가 편향을 감소시키고, 평가 기준을 확장시키는 데 도움이 됩니다.

ARR을 이용하여 다중 모드 생성 모델을 학습시키기 위해 Rubric Policy Optimization(RPO) 방법론을 제안하였습니다. RPO는 ARR의 구조화된 다중 모드 평가를 단순한 스칼라 보상으로 변환하여, 정책 경사를 안정화시키는 데 도움이 됩니다.

ARR-RPO를 이용하여 텍스트를 이미지로 생성하고 이미지 편집을 수행하는 벤치마크에서, ARR-RPO는 쌍별 보상 모델과 대규모 언어 모델(LLM)의 평가를 초과하였습니다. 이러한 결과는, 인간의 선호도 구조를 명시적 기준으로 변환하는 것이 다중 모드 생성 모델을 학습시키는 데 도움이 됨을 보여주고, 이러한 변환은 데이터 효율성과 확장성을 충족시키는 데 도움이 됩니다.

ARR-RPO의 특징

• ARR-RPO는 인간의 선호도 구조를 명시적 기준으로 변환하여, 평가 편향을 감소시키고, 평가 기준을 확장시키는 데 도움이 됩니다.
• ARR-RPO는 다중 모드 생성 모델을 학습시키기 위해 Rubric Policy Optimization(RPO) 방법론을 사용하여, 정책 경사를 안정화시키는 데 도움이 됩니다.
• ARR-RPO는 텍스트를 이미지로 생성하고 이미지 편집을 수행하는 벤치마크에서, 쌍별 보상 모델과 대규모 언어 모델(LLM)의 평가를 초과하였습니다.