세상은 미래를泄露한다: 미래 예측 요인에 진화력을 빌려주는 전략

세상은 미래를 드러낸다: 미래 예측 요인에 진화력을 빌려주는 전략

미래를 예측하는 문제는 일반적으로 \emph{미래 예측}(future prediction)으로 프레임된다. 이 문제는 대규모 언어 모델(LLM) 에이전트가 미래에 발생할 결과가 알려지기 전에 미래에 대한 예측을 하도록 한다. 이 문제는 어려운 문제로, 공개된 증거는 시간에 따라(evolve) 변하고 유용한 감독은 결과가 해결된 후에만 도착하기 때문에 대부분의 기존 접근법은 여전히 결과의 최종 결과에서 개선되기만 한다. 그러나 최종 결과는 초기 요인 추적, 증거 수집 및 해석, 불확실성 처리 등에 대한 초기 지침을 제공하기에는 너무 단순하다. 같은 미해결 문제를 시간에 따라 여러 번 방문할 때, 초기 예측 과정을 생략한 신호를 노출할 수 있다. 이를 \emph{내부 피드백}(internal feedback)이라고 한다.

내부 피드백을 추출하고 재사용 가능한 지침을 미래 예측 핸드럴(back into the harness)로 기록하여, 이후의 예측에서 개선할 수 있도록 하기 위해, 우리는 \emph{Milkyway}라는 자기 진화하는 에이전트 시스템을 소개한다. 이 시스템은 기초 모델을 고정하고, 대신에 요인 추적, 증거 수집 및 해석, 불확실성 처리를 위한 \emph{미래 예측 핸드럴}(future prediction harness)을 업데이트 한다. 같은 미해결 문제에 대한 반복된 예측을 통해, \emph{Milkyway}는 내부 피드백을 추출하고, 결과가 알려진 후에 핸드럴을 업데이트하기 전에, 결과를 확인하는 \emph{역사적 확인}(retrospective check)을 제공한다.

FutureX와 FutureWorld에서, Milkyway는 비교된 메소드 중에서 전체 점수에서 가장 높은 점수를 달성하고, FutureX는 44.07에서 60.90, FutureWorld는 62.22에서 77.96로 개선된다.