세계 모델에서 중요한 것에 집중하는 TaskSense

대규모 언어 모델(LLM)을 통해 학습된 시각적 제어 모델은 일반적으로 compact한 잠재 상태를 학습하기 위해 관찰치를 재구성하는 것을 통해 정보를 전체 시각적 입력에 걸쳐 보존하도록 암묵적으로 장려합니다. 그러나 과제 관련 내용은 관찰치의 작은 부분만을 차지하며 배경 잡음 및 가리키는 요소는 유용한 표현적 능력을 소모합니다. 시각 재구성과 제어 목표 사이의 불일치로 인해 잠재 표현은 과제와 관련 없는 시각적 내용을 모델링하여 제어 관련 특징에 대한 학습 신호를 희석하고 시각적 방해로 인해 다운스트림 성능이 심하게 저하됩니다. 우리는 TaskSense라는 과제 중심의 월드 모델링 프레임워크를 제시합니다. 이 프레임워크는 이전 잠재 상태에 대한 조건된 다변화 스토캐스틱 공간적 주의 기전을 통해 잠재 인코딩 이전에 과제 관련성을 강제합니다. 제어 관련 지역을 향한 주의를 조정하기 위해, 우리는 비상적 역 역학 목표를 학습에 추가합니다. 전체 관찰치를 재구성하는 대신 월드 모델은 관찰된 지역만을 재구성하여 잠재 표현을 과제 관련 정보를 보존하고 무의미한 시각적 내용을 버리는 것을 장려합니다. 샘플링된 주의 맵에 대한 조건으로 디코더를 더 조정하면, 무작위 주의에도 일관된 재구성을 허용합니다. DreamerV3 baseline과 비교하여 TaskSense는 DeepMind Control Suite에서 경쟁적인 성능을 유지하면서 Distracting Control Suite에서 DreamerV3보다 일관되게 우수한 성능을 보입니다. 이는 시각적 방해에 대한 상당히 향상된 내구성을 보여줍니다. 질적 분석은 또한 역 역학 감독에 의해 안내된 학습된 주의가 제어 관련 지역을 일관되게 위치화하고 무의미한 시각적 내용을 억제하는 것을 확인합니다.