자신감의 결핍: 합리적인 LLM의 불확실성 추정에 대한 Verify-to-Hedge 비율을 통한 방법

자신감의 결핍: 합리적인 대규모 언어 모델(LLM)의 불확실성 추정에 대한 Verify-to-Hedge 비율을 통한 방법

합리적인 대규모 언어 모델(LLM)의 불확실성 추정은 실제로 배포하기 어렵다: 샘플링 기반 방법은 컴퓨팅 비용이 많이 들기 때문에, 일반적으로 단일 패스 프록시인 구어화된 자신감이나 추적 길이와 같은 방법은 모델 간에 일관성이 없다. 이 문제는 PROPRIETARY REASONING APIs가 로짓이나 중간 토큰 확률을 노출하지 않아, inference 시간에 전문가들이 신뢰할 수 있는 불확실성 신호가 없게 되는 것이 더하다. 우리는 SELFDOUBT라는 단일 패스 불확실성 프레임워크를 제안한다. SELFDOUBT는 reasoning trace 자체에서 직접 행동 신호를 추출하여 이 딜레마를 해결한다. 우리의 주요 신호인 Hedge-to-Verify 비율(HVR)은 reasoning trace가 불확실성 마커를 포함하고, 만약 그렇다면, 그들이 명시적 자기 검증 행동에 의해 offset되는지 감지한다. 여러 샘플링된 trace나 모델 내부를 요구하는 방법과 달리, SELFDOUBT는 단일 관찰된 reasoning 경로에서 작동하여, latency와 비용 제약으로 인해 배포할 수 있는 PROPRIETARY API와 호환된다. 우리는 SELFDOUBT를 7개의 모델과 3개의 다단계 reasoning 벤치마크(BBH, GPQA-Diamond, MMLU-Pro)에서 평가한다. 가장 놀라운 것은, hedging 마커가 없는 trace는 96% 정확도가 되는 emergent high-precision confidence gate가 zero 추가 비용으로 나타난다는 것이다. 남은 경우, SELFDOUBT의 전체 점수가 10배 낮은 inference 비용으로 sampling-based semantic entropy보다 더 좋다. 두 단계를 결합한 배포 계층은 71%의 coverage로 90%의 정확도가 WITHOUT ANY TASK-SPECIFIC LABELS로 달성된다. 이 결과들은 SELFDOUBT가 PROPRIETARY REASONING 모델에 대한 불확실성 추정에 대한 확장 가능한, 프로덕션 준비된 기초를 확립한다.