모델의 가중치 외에: 혼합 전문가 보상 모델의 기여 대조를 통해 충실한 응답 수준 해석

인간의 선호도를 학습하는 데는 보상 모델이 중요하지만, 그들의 예측에 영향을 미치는 요인을 식별하는 것은 어렵다. 최근 스파스 모이티어스-오브-익스퍼트( Sparse Mixture-of-Experts, MoE) 보상 모델은 전문가에게 특화된 전문가에게 요청을 라우팅하고 라우팅 가중치가 높은 예시를 통해 전문가의 특성을 특성화하여 해석성을 높이기 위해 노력하고 있다. 그러나 라우팅 가중치는 전문가가 받는 요청만 보여주고, 전문가가 응답을 평가하는 방식은 보여주지 않는다. 따라서 우리는 $\textbf{Co}$ntribution-$\textbf{Co}$ntrast ($\textbf{CoCo}$) 응답-레벨 해석을 제안한다. $\textbf{CoCo}$는 선택된 거부된 응답 pairs의 CONTRAST가 가장 큰 전문가의 역할을 충실하게 특성화한다. 이는 라우팅과 선호도 행동을 동시에 포착한다. 자동 및 인간 평가를 통해 $\textbf{CoCo}$는 라우터 기반, 점수 기반, 스파스 오ート인코더 기반 대안보다 더 일관된, 충실한, 전문가화된 해석을 제공한다. $\textbf{CoCo}$는 보상 모델링 정확도도 경쟁력을 유지한다. $\textit{우리의 지식으로는}$ MoE 보상 모델에 대한 해석 방법에 대한 체계적인 연구가 최초로 이뤄진다.