예측 요인들이 언제 합리화해야 하는가? 신뢰성 경로에 대한 행동적 부하 테스트

예측 모델은 점점 더 언어 모델 reasoning, retrieval, ensembling, 및 calibration을 결합하지만, 각 행동을 어느 시점에 신뢰해야 하는지 여전히 불분명하다. ForecastBench-style 이진 예측 작업에서 이 질문을 연구했으며, 데이터를 가져오기, reasoning, market prior에 따르기, 또는 역사적 analog을 사용하기를 observable agent 행동으로 대신하여 hidden implementation detail로 다루었다. 우리의 중심 발견은 기계즘 선택이 데이터 생성 프로세스에 따라 달라진다: 구조화된 analogs가 일부 데이터 생성 프로세스에서 우세한 반면, market/crowd-style 및 conservative baseline이 다른 경우에 더 좋다. 우리는 신뢰성 라우팅(ReliabilityRoute)을 소개한다. 이는 신뢰성 특성인 역사적 커버리지, market-prior 가용성, source-prior 선명도, 증거 강도, 증거 불일치, 그리고 시야를 사용하여 예측 모델 행동을 조정하는 구조적 개입이다. 고정된 2024-fitted 규칙은 hard-coded source-name 결정 없이 hand taxonomy와 가깝게 일치하는 반면 walk-forward self-adjusting 규칙은 이전에 해결된 시리즈에서 threshold를 재조정하고 16개의 후속 LLM 버전 중 우리의 결정적 시스템 중에서 최고 평균 Brier 점수를 얻었다. Gain은 약하며 역사적/검색 baseline이 여전히 매우 경쟁적이다. 따라서 주요 CONTRIBUTION은 더 많은 reasoning이 항상 더 좋지 않다는 것을 보여주는 행동적 스트레스 테스트이다: 예측 모델은 먼저 어떤 증거 소스가 제어를 deserve하는지 추정해야 하며, 라우팅 정책은 자체 adaptability를 Auditable constraint 아래에서 가지며, reproducibility artifact는 https://github.com/louiswang524/forcastagent 에서 사용할 수 있다.