강력한 판넬(LLM) 심사관 집단

대규모 언어 모델(LLM) 심사위원단은 여러 심사위원의 합의 점수를 보고하는 심사위원단(PoLL)의 합의 점수에 대한 합의점을 달성한 심사위원단이 단독 심사위원의 대규모 언어 모델 평가에 대한 실제 대안이 되었지만, 그 통계적 행동은 아직도 잘 이해되지 않았다. 우리는 대규모 언어 모델 심사위원단을 Huber 오염 모델 underneath 에서 formalize하고 PoLL가 positive 오염의 경우, 심사위원단의 크기와 상관없이 단일 심사위원이 편향된 대규모 언어 모델의 일반적인 방식으로(모드 붕괴, 수사관, 안전 거부) 실패할 때 무한한 편향을 유발한다는 것을 보여준다. 심사위원단의 합의를 classical 강건 평균 추정법으로 프레임링하고, 우리는 RoPoLL(Robust Panel of LLM-as-Judge) 제안한다. RoPoLL은 PoLL 심사위원단을 보존하지만 합의 함수를 강건한 평균 추정기와 교체한다. RoPoLL은 기하 평균(GM)으로 구현되며, tuning-free 이며 최적의 유한 샘플 브레이크다운 포인트 1/2를 갖는다. 유한 샘플 오차 상한과 matching 정보 이론적 최소한의 하한은 parametric 속도 sigma*sqrt(d/N)에서 일치하지만 브레이크다운 바닥에서 sqrt(d) 인자 차이로 다르다. RoPoLL은 intractable Tukey 반평면 중간값에 비해 polynomial 시간을 지불한다. 13 개의 open-weight 심사위원(4B-675B), 세 개의 보상 모델 Benchmarks, 및 4 개의 오염 정제 (50%까지)에서 RoPoLL은 모든 편향 오염 유형에서 PoLL을 능가한다. cross-dimensional 공격에서 matched compute 에서 약 19%와 heavy-tailed Byzantine 적대자에서 orders of magnitude 에서 RoPoLL이 PoLL을 능가한다. 3 심사위원 RoPoLL 위원회는 38B 에서 HelpSteer-2 에서 1.31x 를 Mistral-Large-3(675B) 에서 beats 한다. 30% bimodal-random 오염에서 18x parameter 이득을 보면서 더 정확한 결과를 얻는다. Noisy-GT control 은 이 프리미엄이 편향 오염에 대해 지불되는 것이고, benign imprecision 에 대해 그렇지 않다는 것을 확인한다.