증거 Chain 평가를 통해 선택적 사실 확인을 위한 조정

대규모 언어 모델(LLM)은 사실 확인 정확성을 높일 수 있지만 강제적인 이진 결정을 통해 중요한 신뢰성 문제가 숨겨져 있다. 즉, 시스템은 강한 판결을 내리며도 증거가 약하거나 희박하거나 내부적으로 일관성이 없는 경우가 있다. 우리는 이 문제를 해결하기 위해 증거 Chain Evaluation(ECE)이라고 하는 선택적 사실 확인 프레임워크를 통해 abstention을 허용함으로써 강제적인 이진 결정을 요구하지 않는다. ECE는 웹 검색, 학술 검색 및 실행 가능한 검사를 통해 증거를 수집한 후, 신뢰도 및 출처별 메타데이터와 함께 구조화된 판결을 반환하는 도구 사용 검증 대행자로 평가된다. ECE-Bench에서 ECE는 91.6%의 표준 정확도, 93.7%의 커버리지 및 97.8%의 선택적 정확도를 달성한다. although ECE는 aggregate calibration metrics such as Expected Calibration Error, Brier score, or AURC에서 가장 강력한 retrieval baseline을 능가하지는 않지만, selective-prediction trade-off를 제공한다. 즉, 시스템은 답변된 주장에 대해 매우 높은 정확도를 유지하면서도 6개의 95개의 사례를 미루어 방지한다. 이 미루어진 사례는 출처별 레벨 L4에서 낮은 신뢰도 증거 설정(5/6)에 집중되어, abstention이 epistemically weak evidence를 다루기 위한 안전성 기제로 작용한다는 견해를 뒷받침한다.