객체 지향 세계 모델링: 체현된 사유와 계획을 위한 구조화된 프로그래밍 세계 모델링

객체 지향 세계 모델링(OOWM)

OOWM은 체현된 사유를 위한 새로운 프레임워크로, 대규모 언어 모델(LLM)의 사유 능력을 향상시키는 Chain-of-Thought(CoT) 프롬팅의 한계를 극복하기 위해 제안되었습니다. OOWM은 소프트웨어 공학의 공식적 형식인 Unified Modeling Language(UML)을 사용하여 세계 모델을 구조화하고, 체현된 사유를 위한 새로운 방식으로 프로그래밍 세계 모델링을 제안합니다.

세계 모델의 구조화

OOWM은 세계 모델을 세 가지 구성 요소로 구조화합니다.

• 상태 추상화 (State Abstraction): 환경 상태를 표현하는 추상화
• 제어 정책 (Control Policy): 상태와 행동을 연결하는 정책
• 전환 논리 (Transition Logic): 상태와 행동을 연결하는 논리

UML을 사용한 세계 모델링

OOWM은 Unified Modeling Language(UML)을 사용하여 세계 모델을 구조화합니다. UML을 사용하여 세계 모델을 구조화하면, 세계 모델을 더 명확하고 정확하게 표현할 수 있습니다.

훈련 파이프라인

OOWM은 세 가지 단계의 훈련 파이프라인을 사용합니다.

• 지도 학습 (Supervised Learning): 세계 모델을 지도 학습을 통해 학습합니다.
• 집단 상대 정책 최적화 (Group Relative Policy Optimization): 세계 모델을 집단 상대 정책 최적화를 통해 학습합니다.
• 결과 기반 보상 (Outcome-Based Reward): 세계 모델을 결과 기반 보상으로 학습합니다.

평가

OOWM은 MRoom-30k 벤치마크를 사용하여 평가되었습니다. 평가 결과, OOWM은 계획 일관성, 실행 성공률, 구조적 신뢰도에서 우수한 성능을 나타냈습니다.