의무적 추론의 기초 모델에 대한 의무적 추론 성능 평가 지표

연구자들은 논리적 추론을 위한 새로운 벤치마크인 DeFAb을 발표했다. 이 벤치마크는 논리적 추론을 위한 규칙 기반 로직 솔버를 사용하여 100% 정확도로 모든 인스턴스를 50마이크로초 이하로 해결할 수 있다. 반면, 대규모 언어 모델(LLM)은 최고 65%의 정확도를 달성하고, 렌더링 강화 평가(worst case over four surface renderings)에서 23.5%의 정확도만 달성한다. DeFAb은 4개의 세월 동안 공개적으로 지원된 지식베이스를 사용하여 결손이 있는추론(defeasible abduction)을 위한 공식적으로 기반을 둔 인스턴스를 생성하는 데이터 세트와 생성 PIPE라인이다. 결손이 있는추론은 비정상성을 설명하기 위해 기본값을 우회하는 가설을 생성하는 것을 의미한다. DeFAb은 가설이 유효한 추론, 보존성, 최소성에 대한 다항 시간 검사를 통과해야 하므로, 논리적 엄격성을 창의력과 이론적 추론을 측정하는 도구로 사용한다. DeFAb은 33.75M의 물리화된 규칙을 포함하는 372,648+의 인스턴스를 생성한다. 이 인스턴스는 4개의 taxonomic 계층(OpenCyc, YAGO, Wikidata)과 2개의 행동적 속성 그래프(ConceptNet, UMLS)와 pair되어 생성된다. DeFAb-Hard라는 235개의 인스턴스와 CONJURE라는 560개의 Lean 4/Mathlib 인스턴스를 포함한 2개의 벤치마크를 추가로 발표했다. CONJURE는 kernel-verified transformative-creativity variant로, 증명 커널이 이전에 포함하지 않은 정의를 포함하는 560개의 Lean 4/Mathlib 인스턴스를 생성한다. CONJURE는 증명 커널에 의한 judge-free verifier로, 560개의 Lean 4/Mathlib 인스턴스를 생성한다.