예측 요원들의 전략적 사고 능력 평가

를 위한 새로운 벤치마크를 제안했다. 이 벤치마크는 1,417 개의 과거 예측 문제를 사용하고 대규모 언어 모델(LLM)으로부터 15만 개의 문서를 사용하여 연구 및 예측을 reproducibly 수행한다. 이 벤치마크는 예측 요원들의 정확도 차이를 0.004 Brier score로 감지할 수 있으며, 연구 및 판단 차이점을 구별할 수 있다.

이 벤치마크를 사용하여, 예측 요원들의 전략적 사고 능력을 평가할 수 있다. 연구 결과, 더 좋은 예측 요원은 주로 자신의 모르는 부분에 대한 pre-mortem 분석과 black swans를 고려하는 점에서 차이가 있다. 전문가인 인간 예측 요원들은 frontier 요원들의 전략적 사고 실패의 주요 원인으로 정치 및 비즈니스 리더들의 동기를 평가하는 것, 그들의 계획을 이행할 가능성을 판단하는 것, 기관의 과정 모델링을 고려하는 것 등을 지적했다.