LLM 논리적 추론에서 구조적 불확실성을 통해 일관성을 측정하는 방법

대규모 언어 모델(LLM)은 불안정한, 모순된, 또는 일관되게_rank_할 수 없는 경로를 통해 동일한 결과를 도출할 수 있다. 이는 특히 단계별 추론 reasoning에서 특히 문제가 된다. 기존의 방법은 신뢰성을 주로 출력 분산(output dispersion)으로 평가하기 때문에 샘플된 답변의 차이를 측정한다. 그러나 이 방법은 모델이 경쟁하는 추론 후보를 일관되게_rank_할 수 있는지 여부에 대한 보완 신호를 무시한다. 우리는 구조적 불확실성(structural uncertainty)을 제안한다. 이는 자기 선호도(self-preference)-유도 rank들의 안정성에서 유도된 일관성에 대한 frameworks이다. 특정 질의에 대해, 우리는 여러 후보 해결책을 생성하고 모델이 자신의 출력들 사이의 pair-wise preference를 판단하도록 요청한다. 우리는 Bradley-Terry 모델링(Bradley-Terry modeling)과 PageRank를 사용하여 자기 선호도(self-preference)를 ranking 분포(ranking distributions)로 합산하고, 신호를 두 가지 엔트로피 기반 구성요소로 분해한다: trial-across ranking 불안정성(across-trial ranking instability)과 trial-within 후보 불명확성(within-trial candidate ambiguity). 구조적 신호(structural signal)와 답변 분산(answer dispersion)은 다섯 대규모 언어 모델(LLM)과 여덟 개의 벤치마크를 통해 상호 보완적인 정보를 제공한다. 논리적 및 수학적 reasoning task에서, combination은 불신한 인스턴스에 대한 식별력을 향상시키지만, 사실적 retrieval task에서는 구조적 신호가 유니폼성(uniformity)으로 붕괴되며 reasoning-level 일관성 평가가 무의미한 영역 경계(regime boundary)로 진단된다. 두 구성요소는 다르게 정확도와 관련이 있다: trial-within 후보 불명확성은 correctness와 긍정적으로 상관관계를 보인다 - 여러 가능한 해결책 경로가 경쟁할 수 있는 설정에서 - 반면, trial-across ranking 불안정성은 불신된 reasoning을 나타내는 부정적인 상관관계를 보인다. 구조적 불확실성은 논리적 reasoning 일관성에 대한 영역-sensitive 평가자로 가장 잘 이해된다.