메트릭 매치: LLM 심판 신뢰도 평가를 위한 서브셋 선택 접근법

LLM 판독기(LLM judges)는 오픈 엔드 텍스트 생성(open-ended text generation)을 평가하는 데 드는 비용이 많이 드는 인간 노동의 필요성을 줄이기 위해 사용됩니다. 그러나 이러한 판독기의 신뢰도는 인간 평가자와의 일치(property)가 결정하는데, 그 자체도 비용이 많이 드는 인간 주석(annotation)에 의존합니다. 이 연구에서는 제한된 주석(annotation)에서 LLM 판독기의 상관관계 기반 신뢰도 지표를 추정하는 방법을 개발했습니다. Metric Match는 학습된 합성 레이블(synthetic labels)을 사용하여 얻은 집합의 신뢰도 지표와 일치하는 샘플(subset)의 집합을 선택합니다. Metric Match는 4가지 다른 상관관계 지표(correlation metrics)와 15개의 데이터 세트(dataset)에서 무작위 subset 선택 대비 0.838의 승률을 달성했습니다. 또한 평균 추정 오류(error)가 18.7% 감소하고 주석 필요성이 32.5% 감소했습니다. 또한, 비용 모델(cost model)을 제공하고, 전문가 주석(expert annotation) 대비 Metric Match가 $1,041.67를 절약하는 의료 사례 연구를 제시했습니다. 또한, 신뢰도 추정(task)에서 신뢰도 분류(task)로 전환하여, 주어진 판독기가 배포 임계값(deployment threshold) 이상인지를 판단하는 Metric Match가 무작위 선택 대비 우수함을 보였습니다. 모든 프로젝트 코드(project code)는 공개되었습니다. 추가로, 사용하기 쉽게 설치 가능한 패키지(installable package)를 제공했습니다.