마인드게임즈 아레나 일반화 트랙: 시간 지연된 단계별 보상 할당을 포함한 인2AI 솔루션

어떤 행동의 품질은 미래의 사건에 의존하거나 게임 규칙을 위반하는 움직임에 의존하거나 다른 플레이어의 결정에 의존할 수 있으므로, 다중 agent 전략적 상호 작용을 위한 언어 모델 agent를 교육하는 것은 핵심적인 어려움을 제시한다. 표준 강화 학습은 각 단계마다 보상을 할당할 수 있다고 가정하지만, 이 가정은 시간과 agent 간의 결과가 얽혀 있는 설정에서 실패한다. 우리는 지연된 단계별 보상 할당과 적합성 게이트를 사용하여, 에피소드 종료 시에만 보상을 계산하고, 에피소드 종료 시의 보상을 원래 단계에 따라서, 이에 맞는 의미에 따라 전파하고, 유효한 종속 정보가 없는 단계를 훈련에서 배제하는 에피소드 라이프 사이클 및 후처리 PIPE라인을 소개한다. 비동기 롤아웃 생성을 위한 vLLM의 연속 배치, 학습 태스크에 맞는 의미에 따라 단계의 원래 보상을 전파하는 에피소드 종료 시의 보상을 단계에 따라 전파하는, 유효한 종속 정보가 없는 단계를 훈련에서 배제하는, 지연된 단계별 보상 할당과 적합성 게이트를 사용하는 에피소드 라이프 사이클 및 후처리 PIPE라인과 함께, 이 방법은 다중 agent 환경에서 안정적이고 샘플 효율적인 강화 학습 훈련을 가능하게 한다. 우리는 NeurIPS 2025에서 MindGames Arena 벤치마크를 사용하여, 우리의 방법을 사용하여 단일 8억 매개 변수의 오픈 소스 모델이 GPT-5와 같은 더 큰 상업적 시스템을 상회하거나 매치하는 것을 포함하여, 1:1 플레이에서 상위권을 차지하였고, Open(제한 없음)과 Efficient(<=8B 매개 변수) 트랙에서 1위를 차지하였다.