판사들의 판단: LLM-as-a-Judge 파이프라인에서 편향 완화 전략의 체계적 평가

판사들의 판단: LLM-as-a-Judge 파이프라인에서 편향 완화 전략의 체계적 평가

연구자들은 언어 모델의 출력을 평가하는 데 사용되는 LLM-as-a-Judge 패러다임에 대한 한계를 발견했다. 연구자들은 LLM 판사들이 시스템적인 편향을 보이며 평가의 신뢰성을 저하한다고 밝혔다. 연구자들은 네 개의 제공사(구글, Anthropic, OpenAI, Meta)에서 다섯 개의 판사 모델(Google, Anthropic, OpenAI, Meta, Meta)과 세 개의 벤치마크(MT-Bench n=400, LLMBar n=200, custom n=225), 네 가지 편향 유형을 비교하는 포괄적인 실험 연구를 수행했다. 연구자들의 주요 발견은 다음과 같다: (1) 스타일 편향이 모든 모델에서 주도적인 편향(0.76-0.92)을 보이며, 위치 편향(0.15-0.31)보다 훨씬 높다.