LLM Chain-of-Thought를 위한 블랙박스 전제문 의존성 테스트: 개입적 바닥감 지진 검사

대규모 언어 모델의 추론 능력 평가

대규모 언어 모델은 논리적으로 정당해 보이는 생각의 연쇄 추론을 생성하지만, 실제로 주어진 전제에 의존하지 않을 수 있다. 이는 모델의 추론 능력을 평가하는 데 어려움을 겪을 수 있다. 이를 해결하기 위해, 우리는 개입적 지지를 소개한다. 이는 전제에 대한 단일 개입을 통해 대상 술어를 새로운 기호로 대체하고 모델을 재실행한 후 각 추론 단계의 정규화된 결론이 변경되는지 확인하는 검증 방법이다.

이 방법은 ProntoQA라는 합성 다중 단계 추론 벤치마크를 사용하여 평가한다. 이 벤치마크에는 증거 나무가 존재하며 단계별 전제 의존성이 알려져 있다. 이를 통해 모델의 추론 능력을 객관적으로 평가할 수 있다. 또한, 이 방법은 일관성 기준보다 크게 우세함을 보여주었다.

검증 결과 및 의의

우리의 방법은 증거 나무 의존성을 검출하는 F1 점수 0.806(술어 결정 의존성에 대한 F1 점수 0.885, 재현율 100%)를 달성했으며, 일관성 기준보다 크게 우세했다( F1 점수 0.343, 95% 부트스트랩 신뢰구간이 겹치지 않음). 이는 모델의 추론 능력을 평가하는 데 있어 개입적 지지가 유용함을 보여준다. 또한, 우리는 66%의 정확하게 해결된 문제가 일관된 대체로 구성된 단계가 있는 경우가 존재한다는 것을 발견했다.

이러한 결과는 모델의 추론 능력을 평가하는 데 있어 새로운 방법을 개발할 필요가 있음을 시사한다. 또한, 이는 대규모 언어 모델의 추론 능력을 개선하는 데 있어 중요한 의의를 가진다. 모든 검증 증명서, 원본 출력물 및 재현 스크립트는 공개 깃허브 저장소에 존재하며, 우리는 형식적이고 파서 가능한 벤치마크를 넘어 벤치마크의 범위 한계를 논의한다.