세계 모델에서 물체 지속성 훈련

인간의 인지 전제 중 물체의 영구성(permanence)과 단단함(solidity)은 물리적 지능을 발전시키는데 큰 영향을 미칩니다. 최근 연구 결과, 비디오 생성 모델이 인간과 같은 논리적 추론 능력을 발전시키고 있는 것으로 나타났습니다. 비디오 모델이 물체의 영구성을 지닌다고 말할 수 있을까요? 그렇지 않다면, 인지 전제에 기반한 데이터셋을 통해 모델을 훈련할 수 있을까요? 우리는 WROP(World Reasoning with Object Permanence, 물리적 지능을 위한 물체의 영구성을 고려한 세계 지능)을 소개합니다. WROP은 150개의 인지과학에 기반한 task를 포함한 데이터 인프라로, 6개의 인지 카테고리로 분류됩니다. 우리는 Blender를 사용하여 각 task의 인지 구조를 유지하면서 속도, 조명, 카메라 각도, 기타 잡음 변수를 랜덤화하여 10,000개 이상의 샘플을 생성합니다. 우리는 1.5M 샘플의 훈련 데이터셋과 300개의 문제를 포함한 시험을 공개합니다. 이 시험에서 우리는 14개의 비디오 모델을 평가합니다: 3개의 참조-비디오 모델, 7개의 편집 모델, 4개의 연속 모델 중 PWM-WROP, 우리의 16B 세계 모델을 포함합니다. 이 모델은 블라인드 pair-wise Elo 연구에서 연속 모델 중 1위, 전체적으로 3위를 차지하였습니다. 두 개의 참조-비디오 모델이 통계적으로 동률을 이루는 것에 뒤를 따랐습니다. 우리는 데이터, 시험, 모델의 답, 점수, 가중치, PWM, 우리의 native-PyTorch 훈련 스택을 AWS Trainium2에서 공개합니다.