개인화된 벤치마킹: 개인 선호도에 따라 LLM을 평가하다

개인화된 벤치마킹: 개인 선호도에 따라 대규모 언어 모델(LLM)을 평가하다

대규모 언어 모델(LLM)의 기능이 향상되고 실세계 업무에 배치됨에 따라, 인간 선호도와 대규모 언어 모델(LLM)의 일치성을 평가하는 것이 중요한 과제가 되었다. 현재 벤치마크는 사용자들의 선호도를 평균화하여 집계된 평점을 계산하며, 개별 사용자 선호도를 고려하지 않고 모델 순위를 설정한다. 사용자들은 다양한 상황에서 다양한 선호도를 가지기 때문에, 우리는 개인화된 벤치마크를 통한 모델 순위를 설정하는 것을 요청한다. 115명의 활성 채팅봇 아레나 사용자를 대상으로 ELO 평점과 브래들리-테리 계수를 사용하여 개인화된 모델 순위를 계산하고, 사용자 쿼리 특성(주제와 쓰기 스타일)이 모델 순위의 변동과 관련된지 분석한다. 우리는 집계된 대규모 언어 모델(LLM) 순위와 개인화된 순위 사이의 큰 차이를 보여주며, 브래들리-테리 상관계수는 평균 $\rho = 0.04$ (57%의 사용자가 근소한 음의 상관관계를 보인다)이고, ELO 평점은 중간 상관관계 ($\rho = 0.43$)를 보여준다. 주제 모델링과 스타일 분석을 통해, 사용자들은 주제 관심사와 커뮤니케이션 스타일에서 큰 다양성을 보인다. 이러한 다양성은 사용자의 모델 선호도에 영향을 미친다. 또한 주제와 스타일 특성을 조합하여 사용자별 모델 순위를 예측하는 유용한 특성 공간을 제공한다. 결과는 대부분의 사용자가 집계된 벤치마크로 개인 선호도를 포착하지 못한다는 강력한 양적 증거를 제공하며, 개인화된 벤치마크를 통한 대규모 언어 모델(LLM) 순위를 설정하는 중요성을 강조한다.