물리적으로 본위의 세계 모델: 해밀토니안视角의 생성적 세계 모델링

물리적으로 본위의 세계 모델

최근에 세계 모델은 지능, 로봇, 자율 주행, 모델 기반 강화 학습과 같은 분야에서 중심적인 패러다임으로 재등장했습니다. 그러나 현재의 세계 모델 연구는 2D 비디오 생성 모델, 3D 장면 중심 모델, JEPA-like 적응 모델이 대표하는 세 가지 부분적으로 분리된 경로에 의해 지배됩니다. 각 경로도 중요한 진전을 이루었지만, 여전히 신체적 결정에 필요한 물리적으로 신뢰할 수 있는, 행동을 제어할 수 있는, 장기적인 안정적인 예측을 제공하는 데 어려움을 겪고 있습니다.

이러한 어려움을 해결하기 위해, 물리적으로 기반을 둔 세계 모델인 해밀토니안 세계 모델을 제안합니다. 해밀토니안 세계 모델은 관찰을 구조화된 잠재 상태 공간으로 인코딩하고, 제어, dissipation, residual 항을 포함한 해밀토니안 영감에 의해 진화하는 잠재 상태를 구현하고, 예측 트레잭토리를 미래 관찰로 디코딩하고, 결과 롤아웃을 계획에 사용하는 방법을 논의합니다.

해밀토니안 세계 모델의 특징

해밀토니안 세계 모델은 물리적으로 신뢰할 수 있는, 행동을 제어할 수 있는, 장기적인 안정적인 예측을 제공할 수 있습니다. 또한 해밀토니안 구조가 해석 가능성, 데이터 효율성, 장기적인 안정성을 개선할 수 있음을 논의합니다. 그러나 실제로 로봇 장면에서 마찰, 접촉, 비보존력, 형성 가능한 물체와 같은 문제가 발생할 수 있음을 언급합니다.

해밀토니안 세계 모델은 이러한 문제를 해결하기 위해 다양한 접근 방법을 제안할 수 있습니다. 예를 들어, 해밀토니안 구조를 사용하여 마찰과 접촉을 모델링하거나, 비보존력을 고려하여 더 정확한 예측을 제공할 수 있습니다. 이러한 접근 방법을 통해 해밀토니안 세계 모델은 실제로 로봇 장면에서 더 효과적으로 사용될 수 있습니다.