리소스-지향적 지식 압축: 다중 에이전트 강화 학습

리소스-지향적 지식 압축을 위한 다중 에이전트 강화 학습

리소스-지향적 지식 압축을 위한 다중 에이전트 강화 학습(KD-MARL)은 중앙 집중식 전문가에서 가벼운 분산된 학생 에이전트로 조정된 행동을 전달하는 2단계 프레임워크를 제안합니다. 학생 정책은 비평자 없이 훈련되며 대신 압축된 이익 신호와 구조화된 정책 감독을 사용하여 균일하지 않은 관찰 하에서 조정 구조를 보존합니다.

우리의 접근법은 행동 수준의 행동과 구조적 조정 패턴을 전문가 정책에서 전달하며, 각 에이전트 모델의 용량을 관찰 복잡성을 맞추는 데 중요합니다. 이는 부분적 또는 제한된 관찰성 및 제한된 Onboard 리소스 하에서 효율적인 실행을 지원합니다.

SMAC 및 MPE 벤치마크에서 광범위한 실험을 통해 KD-MARL이 높은 성능 보존을 달성하며, 컴퓨팅 비용을 크게 감소시킵니다. 표준 다중 에이전트 벤치마크에서 KD-MARL은 90% 이상의 전문가 성능을 보존하며, FLOPs에서 28.6배까지의 컴퓨팅 비용을 감소시킵니다. 제안된 접근법은 전문가 수준의 조정과 구조화된 압축을 통해 리소스 제한된 Onboard 플랫폼에서 실용적인 다중 에이전트 강화 학습 배포를 지원합니다.

• 제안된 접근법은 리소스-지향적 지식 압축을 위한 다중 에이전트 강화 학습을 위한 2단계 프레임워크입니다.
• 학생 정책은 비평자 없이 훈련되며 대신 압축된 이익 신호와 구조화된 정책 감독을 사용합니다.
• 접근법은 행동 수준의 행동과 구조적 조정 패턴을 전문가 정책에서 전달합니다.
• 접근법은 각 에이전트 모델의 용량을 관찰 복잡성을 맞추는 데 중요합니다.
• 접근법은 부분적 또는 제한된 관찰성 및 제한된 Onboard 리소스 하에서 효율적인 실행을 지원합니다.