도화상태 기반의 연속적 신뢰도 기반의 상대자 형성

인간의 협력은 종종 다른 사람들의 믿음을 전략적으로 행동으로 영향시키는 능력에 의존한다. 다중 agent 강화 학습에서 상대방의 형성을 시도하려면 종종 상대방의 매개변수, 정책, 또는 가치 공간 내에서 작동한다. meanwhile, hidden-role 게임에서 믿음 조작 기법은 종종 유도 또는 믿음 saturation과 같은 고정된 목표에 의존한다. 우리는 D-BOS( Differentiable Belief-based Opponent Shaping )를 제안한다. D-BOS는 각 관찰자의 믿음이 형성된 상대방 상태로 처리하고 k-단계 softmax-Bayes 믿음 동역학을 통해 차등화한다. 상대방의 행동을 암시적으로 유도하거나 협력적인 행동을 reward하는 대신, 우리의 방법은 믿음 상태를 형성하는 목표로 취급한다. 환경의 reward 구조에서 최적 전략이 자연스럽게 나타나도록 한다. 이 믿음 공간 형식은 상대방의 믿음 업데이트에 차등화하여 상대방 형성 신호를 제공하고, 여러 관찰자의 개별 추론된 믿음 경로를 합쳐서 자연스럽게 확장된다. 실험적으로, D-BOS는 hidden-role 게임에서 PPO와 BBM보다 좋으며, 혼합 동기 설정에서 가장 큰 성능 향상을 보인다.