SOTA 판정자들이 실제 인간의 사고와 싸우는 이유: RealMath-Eval

대규모 언어 모델(LLM)이 고등학생 수학 문제를 거의 완벽하게 해결하는 성과를 거두었지만, 실제 인간 학생들의 다양한 추론 과정을 평가하는 능력은 여전히 충분히 조사되지 않았다고 합니다. 이 차이를 메우기 위해 우리는 **RealMath-Eval**이라는 224 개의 실제 고등학교 시험 응답을 엄격하게 주석화한 벤치마크를 제시합니다. 초기 평가 결과에 따르면, thậm chí 최신의 대규모 언어 모델 판정자도 이 과제에서 크게 어려움을 겪으며, 전문가 인간 판정자와의 평균 제곱 오차를 나타내는 평균 제곱 오차(mean squared error, MSE)가 약 2.96로 나타났습니다. 판단의 가능한 이유를 탐색하기 위해, 우리는 같은 판정자가 synthesized LLM-generated solutions을 평가하는 controled setting을 비교했습니다. 우리는 "Evaluation Gap"이라고 불리는 가파른 차이를 발견했습니다. 판정자는 synthesized 텍스트를 평가할 때 정확도와 일관성이 더높지만(약 1.17), 실제 학생의 추론 과정을 일반화하는 데 어려움을 겪습니다. 의미적 임베딩 분석을 통해, 우리는 synthesized 오류가 예측 가능한, 저차원 선형 subspace로 collapse하는 경향이 있음을 발견했습니다. 반면, 인간 오류는 더 다양하고 다양한 오류 공간을 형성합니다. 또한, 생성 확률 탐색은 인간 추론이 현재 모델에 비해 더 높은 정보 이론적 surprisal을 포함한다는 것을 발견했습니다. 이는 학생 추론 전환이 현재 모델의 분포 밖으로 벗어난다는 것을 의미합니다. 마지막으로, 표면 수준의 스타일 전이를 통해 이 간극을 닫을 수 없었습니다. 우리의 연구 결과는 현재 대규모 언어 모델 평가 pipe line이 실제 학생 수학 추론의 다양성을 충분히 반영하지 못한다는 것을 시사합니다.