LLM 심판의 합의는 증거가 과장된 것: 오류의 의존성

대규모 언어 모델(LLM) 심판의 합의

대규모 언어 모델(LLM) 심판의 합의는 오류가 독립적으로 발생한다고 가정하고, 이 합의가 결정이 올바르다고 간주하는 경향이 있습니다. 그러나 실제로는 LLM 심판이 비슷한 방법으로 훈련되고 평가되기 때문에 동일한 오류를 발생할 수 있습니다. 이러한 의존성이 합의의 신뢰성을 어떻게 영향을 미치는지 연구했습니다.

연구 결과, LLM 심판의 오류 간 평균 상관관계는 0.21로, 약 3.5개의 독립적인 심판만큼의 통계적 정보를 제공합니다. 또한, LLM 심판의 오류 간 의존성은 높은 정확도 프론티어 심판들에서도 더 강력합니다. 이는 LLM 심판의 오류가 독립적으로 발생하지 않는다는 것을 의미하며, 합의의 신뢰성을 평가할 때 이러한 의존성을 고려해야 합니다.

오류의 패턴과 해결 방법

또한, 오류의 패턴이 중요함을 발견했습니다. 대부분의 심판이 공유하는 오류와 작은 그룹에서 집중된 오류는 합의를 다르게 영향을 미치고, 다른 투표 방법을 선호합니다. 오류 간의 전체 상관관계만 측정하는 것은 불충분합니다. 따라서, LLM 심판의 오류 간 의존성을 고려할 때, trusted 예제를 사용하여 심판의 정확도를 추정하고, 공유 오류를 식별하는 것이 중요합니다.

또한, 공유 오류를 고려할 때, 결과를 분석하고, trusted 예제를 사용하여 투표 방법을 선택하는 것이 필요합니다. 이러한 방법을 통해 LLM 심판의 합의의 신뢰성을 높이고, 더 정확한 결정을 내릴 수 있습니다.