마스크드 확산 언어 모델은 강력하고 조정 가능한 텍스트 기반 월드 모델 : 에이전트 RL을 위한 강력한 툴

최근 강화 학습의 성장으로 다양한 환경을 위한 대체 훈련 환경이 필요해졌습니다. 환경을 고정한 태스크와 보상 난이도가 환경 성능이 향상되면 효과적인 신호가 되지 않으며, 장기적인 보상이 희박하면 특정 워크플로우나 도구 구조에 대한 모드 붕괴를 유발합니다. 월드 모델이 환경 상태를 시뮬레이션하는 것은 순수 롤아웃 성능과 동등하게 성능을 보이므로, 다양성 요구 사항을 충족하기 위한 대용량 환경을 구축하는 데 hứ중에 있습니다.

그러나 자동 회귀 (AR) 월드 모델은 전방향 편향으로 인해 전역적으로 상호 의존적인 상태 anchor들, 즉 도구 스키마, 이전 턴, 예상 결과에 대한 조건을 설정하는 것을 방지합니다. 이러한 문제를 해결하기 위해, 우리는 텍스트 기반 월드 모델링을 조정 가능한 전환 동적 문제로 formalize하고, 초기 상태, 태스크 컨텍스트, 도구 스키마, 도메인 규칙, 조정 지시문으로 decompose합니다.

우리는 9개의 오픈 소스 환경과 12개의 선구적 모델 패밀리에서 239,403개의 grounded 상태-행동 경로를 curate했습니다. 우리는 대규모 언어 모델 (LLM)과 마스크드 확산 언어 모델 (MDLM)을 비교했으며, MDLM은 bidirectional anchor-aware denoising을 통해 LLM보다 4배 크기의 파라미터 크기와 유사한 인퓨런스 지연 시간에서 더 나은 유의성, groundedness, 그리고 경험적으로 검증된 롤아웃 다양성을 달성했습니다.

우리는 plug-and-play GRPO 훈련 프레임워크를 소개하고, deterministic 상태 검사를 포함하여, 3개의 OOD 환경 (ScienceWorld, ALFWorld, AppWorld)과 3개의 1.2B-7B agent 백본 (LFM2.5, Qwen3, Mistral)에서 zero-shot transfer ablation을 수행했습니다. 우리는 환경에 특정한 fine-tuning이 없이 47%의 절대적인 성능 향상을 달성했습니다.

우리는 실패 모드 분석을 위해 adversarial 시나리오를 수행하고, 현실성, 결과 정확성, 훈련 유용성에 대한 인간 평가를 수행했습니다. 우리는 이러한 연구를 향한 연구를 encourge하기 위해 open-source를 제공합니다.

이 연구는 강화 학습에서 환경을 위한 대체 훈련 환경을 구축하는 데 강력한 툴로 마스크드 확산 언어 모델을 제시합니다.