LLM을 이용한 수학적 분석의 정리 증명에 대한 두 단계 평가 시스템: MA-ProofBench

수학적 분석의 정리 증명 평가 시스템

대규모 언어 모델(LLM)은 자동 증명 논리를 크게 진전시키면서도 현재까지 존재하는 공식 평가 지표는 수학적 범위와 난이도에서 모두 제한적이다. 대부분은 대수학과 초등 수학적 수학 이론과 같은 더 쉽게 공식화되는 분야에 집중되어 있으며, 더 깊은 사고를 요구하는 하위 분야인 수학적 분석에 대한 범위는 제한적이다. 이러한 공백을 해결하기 위해 새로운 평가 시스템이 필요하다. 새로운 평가 시스템인 MA-ProofBench는 Mathematical Analysis를 위한 첫 번째 공식 증명 논리 지표로, 6개의 핵심 주제와 27개의 하위 주제를 포함하여 200개의 공식화된 정리들이 포함되어 있다. 이는 측도 및 적분 이론, 복소 해석학, 함수 해석학과 같은 분야를 포함한다. 문제들은 두 가지 난이도 레벨로 나누어져 있으며, 학부 레벨(Level I, 100 문제)과 박사 학위 준비 레벨(Level II, 100 문제)로 나누어져 있다. 각 문제는 인간 주도, 대규모 언어 모델-assisted 공식화 pipeline를 통해 생성되고 독립적인 전문가 검토를 통해 공식적인 statement들이 원래 수학에 충실하게 유지된다. MA-ProofBench를 통해 최근 일반 목적의 사고 모델과 공식적인 정리 증명기들을 평가한 결과, 대부분의 모델은 잘 수행되지 못하는 것으로 나타났다. 가장 잘 수행된 모델도 Level I에서 16%의 성과를 달성하고 Level II에서 5%의 성과를 달성했으며, 대부분의 모델은 Level II에서 0%의 성과를 유지했다. 이러한 결과는 수학적 허구와 불완전한 증명이 두 가지 주요 실패 모드임을 드러내며, 자연어 버전의 지표에 대한 평가로 인해 공식적 사고와 비공식적 사고 사이의 rõ ràng한 공백이 드러난다. 따라서 MA-ProofBench는 고급 도메인에서 공식적인 수학적 사고의 진행 상황을 신뢰할 수 있는 기준으로 삼아야 한다.