확신과 실수 간의 격차: 탐사들이 놓치는 오류를 발견하는 경우

arXiv:2608.07528v1 발표 형식: 새로운 논문 요약: 선형 탐침은 자연어 모델에서 거의 완벽한 정확도로 오류를 감지할 수 있지만, 이를 신뢰할 수 있는 오류 예측으로 옮길 수는 없다. 따라서 이는 직접적인 배포 모니터링의 분리와 관련이 있다. 다중-hop 계산 chain에서 오류 감지를 위한 탐침은 최종 답안의 정확성에 대한 정보를 제공하지 않는다. 또한 구조화된 신뢰도 형식으로 모델을 강제하면 두 가지 값으로 붕괴되며, 오류율이 유사하다. 탐침이 여러 번 반복되더라도 오류와 정답을 구분하지 못한다는 것을 부정하는 "persistense beats peak" 가설이 거부된다. 이 패턴은 추론 모델을 포함한 모델 패밀리에서 일반화된다. 실시간 모니터링으로써, 탐침 기반의 intervention은 모델과 오류 유형에 따라 강하게 모델에 의존한다. branch-and-pick는 모델에서 net-positive이며 특히 Llama-3.1-8B (4개는 구출, 0개는 파괴)에서 유일하게 깨지지 않는다. 반면 reprompt와 replace-prior는 오류를 구출하는 것과 비슷한 비율로 정답을 파괴한다. 탐침 기반의 모니터링은 구체적인 신뢰도 표현과 함께 필수적인 보완이지만, 단일 intervention이 우월하는 것은 아니다. 따라서 배포 가능한 답은 모델에 의존하고 오류 유형에 의존하는 routing이 필요하다.