AI 모델 5월 4일
물리적으로 본위의 세계 모델: 해밀토니안视角의 생성적 세계 모델링
세계 모델은 최근로 몸에 있는 지능, 로봇, 자율 주행, 모델 기반 강화 학습과 같은 분야에서 중심적인 패러다임으로 재등장했습니다. 그러나 현재의 세계 모델 연구는 2D 비디오 생성 모델, 3D 장면 중심 모델, JEPA-like 적응 모델이 대표하는 세 가지 부분적으로 분리된 경로에 의해 지배됩니다. 각 경로도 중요한 진전을 이루었지만, 여전히 신체적 결정에 필요한 물리적으로 신뢰할 수 있는, 행동을 제어할 수 있는, 장기적인 안정적인 예측을 제공하는 데 어려움을 겪고 있습니다. 이 논문에서, 우리는 세계 모델의 병목 현상은 더 이상 그들이 재현할 수 있는 미래를 생성할 수 있는지 여부에만 달려 있지 않으며, 그 미래가 행동에 유용하고 물리적으로 의미 있는지 여부에 달려 있다고 주장합니다. 우리는 물리적으로 기반을 둔 세계 모델인 해밀토니안 세계 모델을 제안합니다. 이 논문에서, 우리는 관찰을 구조화된 잠재 상태 공간으로 인코딩하고, 제어, dissipation, residual 항을 포함한 해밀토니안 영감에 의해 진화하는 잠재 상태를 구현하고, 예측 트레잭토리를 미래 관찰으로 디코딩하고, 결과 롤아웃을 계획에 사용하는 방법을 논의합니다. 우리는 해밀토니안 구조가 해석 가능성, 데이터 효율성, 장기적인 안정성을 개선할 수 있음을 논의합니다. 그러나 실제로 로봇 장면에서 마찰, 접촉, 비보존력, 형성 가능한 물체와 같은 문제가 발생할 수 있음을 언급합니다.