바바 인 원더랜드: 실행 가능한 월드 모델을 위한 온라인 자가监督 동역학 발견

바바 인 원더랜드: Online Self-Supervised Dynamics Discovery for Executable World Models

바바 인 원더랜드: 온라인 자가 학습 동역학 발견을 위한 실행 가능한 세계 모델

실행 가능한 세계 모델은 읽을 수 있고, 편집할 수 있으며, 실행할 수 있으며, 계획을 위해 재사용할 수 있지만, 프로그램이 환경의 전이 법칙을 캡처하기보다는 표면 언어의 의미적 단축을 캡처하지 않는다면만 가능하다. 우리는 표준화된 규칙 설명, 보상 신호, 신뢰할 수 있는 어휘 전제가 없이 상호 작용 증거만으로 상태 종속 동역학을 유도해야 하는 에이전트가 온라인 실행 가능한 세계 모델 학습을 하는 경우를 연구한다. 우리는 에이전트가 후보 업데이트 실패를 구조적 신호로 다루는 폐쇄 루프 시스템인 앨리스(Alice)를 소개한다. 앨리스는 후보가 새로운 전이를 설명하지만 이전에 설명된 것들을 잃을 때, 현재 프로그램이 합해 주었던 동역학을 알 수 있다. 앨리스는 이러한 충돌을 업데이트에 대한 compact한, 클래스-분류된 보존 적대 예시와 현재 프로그램에 대한 전진 탐색을 새로운데리고 있는 전이 방향으로 지시하는 가설 클래스로 정제한다. 우리는 바바 인 원더랜드(Baba in Wonderland), 바바 이즈 유(Baba Is You)의 표준화된 규칙-속성 레이블을 의미적으로 관련없는 단어로 대체한 시뮬레이터 동역학을 보존한 이전에 표준화된 규칙 설명, 보상 신호, 신뢰할 수 있는 어휘 전제가 없는 변형을 평가한다. 실험 결과 앨리스는 표준화된 규칙 설명, 보상 신호, 신뢰할 수 있는 어휘 전제가 없는 경우 실행 가능한 세계 모델 학습을 크게 개선한다. 그리고 제거 실험 결과 클래스 정제와 클래스에 대한 탐색이 모두 기여한다는 것을 보여준다.