내부적 미래를 내담하는 지능형 훈련 패러다임: 월드 모델 계획

내부적 미래를 내담하는 지능형 훈련 패러다임

대규모 언어 모델(LLM) agent는 순차적 의사 결정을 위한 강력한 능력을 보이지만, 장기적인 작업에서는 여전히 반응적으로 남아 있습니다. 인간은 미래의 계획을 평가하기 위해 'what-if' 논리를 사용하지만, 표준 agent는 내부 월드 모델을 통해 미래의 결과를 시뮬레이션할 수 없습니다. 따라서 우리는 미래에 대한 계획을 내담하는 방법을 제안합니다.

월드 모델을 이용한 미래 계획

우리는 미래에 대한 계획을 내담하기 위해 단일 자율 모델을 훈련하여 미래의 상태 롤아웃과 계획 조건부 성공 추정치를 구문 분석하는 텍스트 analogue-Q-값을 훈련합니다. 중요하게도, 우리는 형식-능력 간 격차를 식별합니다: 단순히 후훈련 중에 agent를 look-ahead trace에 fine-tuning하는 것은 미래에 대한 진정한 예측 기반을 갖지 않고 단순히 foresight를 모방하는 표면적인 형태의 훈련만이 됩니다. 이 격차를 bridging하기 위해, 우리는 3단계 훈련 패러다임을 제안합니다:

1. 월드 모델을 이용한 자율 훈련 중 (WM-AMT) : 정책에 내재된 예측 능력을 주입합니다.
2. 형식-구인 SFT (FE-SFT) : 주입된 이 능력을 형식화합니다.
3. 미래 조건부 강화 학습 (FC-RL) : 생성된 시뮬레이션의 캘리브레이션과 유용성을 개선합니다.

검색 및 수학적 논리 작업 평가

우리의 방법은 다른 훈련 baseline보다 검색 및 수학적 논리 작업에서 일관되게 우수한 성능을 나타냅니다. 결과는 LLM agent에 내부 월드 모델링을 효과적으로 구현하려면 능력-먼저 훈련 pipeline를 사용하여 기반된 미래에 대한 진정한 예측을 달성해야 함을 보여줍니다.