인증된 월드 모델이 여전히 패배하는 이유: 플레이-적합성 vs 예측 정확도

대규모 언어 모델(LLM)이 게임의 규칙을 실행할 수 있는 코드로 합성할 수 있다. 이 코드 월드 모델(CWM)은 일반적으로 샘플 트레이너에 대한 전환 정확도에 따라 받아들여진다. 그러나 우리는 계획에 대한 이러한 적합성은 올바른 적합성이라고 주장한다. 본 연구에서는 4 가지 사실을 보여준다.

• 대규모 언어 모델(LLM)이 합성한 CWM은 샘플링 게이트를 100%의 전환 정확도로 통과하고, 계획자 자신의 검색 분포에서 $\geq 98\%$의 상태 정확도를 달성할 수 있지만, 여전히 게임에서 패배할 수 있다. 이 실패는 pivotal dynamics에 대한 오류가 pivotal dynamics에 대한 오류 때문이다. 이 오류의 비용은 $0.091$이며, 95% 신뢰 구간은 $[0.065,0.117]$이며, 샘플 수는 4800이다. 우리는 이 실패를 verified-vs-correct gap라고 부른다.
• 해당하는 실패는 다음의 양적 법칙에 의해 설명된다. $\mathrm{danger}=\mathrm{play\_cost}\times(1-\mathrm{rarity})^N$의 $(1-\mathrm{rarity})^N$ gate-miss factor는 증명되고, play cost는 경험적으로 제한된다.
• 해당하는 실패는 더 많은 데이터로 해결되지 않는다. 대규모 언어 모델(LLM)이 합성한 CWM은 규칙 번역을 수행하는 것처럼 보이며, 다른 모델(기어-5.x)과 데이터 환경(DAgger 및 대상 예시 포함)에서 오류를 수정하지 못했다.
• 해당하는 메커니즘은 불완전 정보 CWM의 신뢰-추론 함수에서 재현된다. 우리는 coverage bound를 증명한다. size-N gate는 identifying할 때 $N\gtrsim b^{d_{\max}}$이며, 이것은 shallow games인 Kuhn poker에서 gap이 없는 이유를 설명한다. 또한 우리는 Beacon, verified-but-wrong inference function를 손으로 만든다. Beacon은 gate를 통과하지만, 모든 게임에서 패배한다.

본 연구의 결과는 계획에 대한 월드 모델의 적합성을 검색 분포 또는 직접 게임으로 측정하는 것이 올바른 적합성이라고 말해준다.