언어 모델 및 전제 조건의 능력에 따라 풀링을 통한 사건 예측

Hy브리드 예측에서 언어 모델은 여러 신호 중 하나일 때 자주 사용된다. 시스템은 이미 시장, 대중, 통계적 예측을 가지고 있어 모델이 유용한 정보를 제공하는지 여부를 결정해야 한다. 따라서 독립된 모델 정확성보다는 상대적 compétence, 즉 모델이 제공하는 외부 예측의 외재적 예측 외에 추가적인 가치가 있는지 여부가 중요하다. 브라이어 손실(Brier loss)에서, 모델의 불일치가 외부 예측을 개선할 수 있는 상황을 특징지어지고, 도메인-특정 대신 글로벌 풀링 вес트를 사용할 때 얻을 수 있는 이익을 도출한다. 이어서 도메인 수준의 출처 weigh를 예측된 결과에서 추정하는 compétence gate를 제시한다. gate는 불확실한 추정치를 글로벌 weigh로 접근시키고, 풀링된 예측을 재조정한다. 2,357개의 해결된 이진 질문과 다섯 개의 언어 모델을 사용한 결과, gate는 주된 외부 기준선에서 0.0771에서 0.0732의 브라이어 손실로 개선되며, 글로벌 예측 combination보다 크게 성능을 개선한다. 해당 gain은 유출 제어 및 유출-safe 시간 시리즈 전처리 이후에도 유의미하게 유지되며, 풀링된 구조화된 집합에서 별도의 증거가 FRED에 있다. 그러나, official ForecastBench 시장 서브셋에서 gate는 크게 시장의 의견을 따르며, 유의미한 개선이 없음을 나타낸다. 네 개의 Qwen 모델을 사용한 결과, 언어적 자신감은 모델이 외부 예측보다 성능을 개선하는 상황을 신뢰할 수 없지만, 결과에 의해 추정되는 compétence는 abstention 의사결정을 더 잘 지원한다. 이 결과는 측정된 외재적 가치를 기반으로 모델 사용의 선택적 접근을 제공한다.