crowd 수집된 수학 연구 토론 데이터셋

대규모 언어 모델은 수학적 추론에서 상당한 진전을 이루었지만, 기존 평가 기준은 일반적으로 완전한 답변, 단계별 해결책, 또는 완전한 증명과 같은 잘 정의된 문제를 평가한다. 그러나 이러한 평가 기준은 협력적 개방형 문제 해결을 포착하지 못한다. 실제 수학 연구에서는 참여자들이 부분적인 논증을 제안하고, 이전 단계의 오류나 빈칸을 식별하며, 결함 있는 추론을 수정하고, 점진적으로 증명에 기여한다.

이러한 협력적 문제 해결을 평가하기 위해 크라우드 수학이라는 데이터셋을 소개한다. 크라우드 수학은 전문가들이 레이블링한 진행 과정을 포함하며, 이는 협력 연구 활동으로, 토론이 심사된 논문으로 이어진다. 각 과정은 개방형 문제 진술부터 완성된 증명까지의 다중 참여자 포럼 토론을 추적한다.

데이터셋의 특징

게시물은 발전하는 해결 과정에서 역할에 따라 레이블링된다. 이에는 부분적인 진전, 증명 완료, 오류 있는 추론, 오류 식별 등이 포함된다. 이러한 데이터셋을 사용하여 평가 과제와 6개의 최첨단 모델을 평가 기준으로 삼는다. 모델들은 다음 게시물 예측에서 높은 정확도를 달성한다. 그러나 모델들은 기능적 의미를 이해하는 데 어려움을 겪는다. 가장 좋은 모델은 게시물 역할 분류에서 낮은 성능을 달성한다.

이러한 결과는 잘 정의된 수학적 문제를 해결하는 것과 협력적 수학적 진전을 이해하는 것 사이의 간격을 드러낸다. 크라우드 수학은 이러한 간격을 메우기 위해 개발되었으며, 향후의 연구에 도움이 될 수 있을 것이다.