미래를 식별하는 것: 깊은 강화학습의 앞서 보는 설명

강화 학습(DRL) agent는 복잡한 환경에서 강한 성능을 달성하지만, 그 결정 프로세스는 여전히 이해하기 어렵다. 우리는 SPOT(Sampling Policy Observation Tree, 샘플링 정책 관찰 Tree)이라고 하는 모델-무관적이고 샘플링 기반 프레임워크를 소개한다. 정책과 환경 시뮬레이터에 접근할 경우, SPOT는 행동을 샘플링하고 결과하는 후손 상태를 재귀적으로 시뮬레이션하여 해석할 수 있는 유한 시간대 Tree를 구성한다. Tree는 정책의 행동 선호도와 그 가능한 하위 흐름을 비롯한 정책의 행동 선호도의 실증적 표현을 제공한다. 우리는 SPOT의 정책의 유일한 가장 가능성이 높은 행동을 회복시키는 비가역적 보장을 제공하며, 높은 엔트로피 정책의 불일치 동작을 특징짓는다. 우리는 SUMO-RL 교통 신호 제어 도메인에서 SPOT의 성능을 검증한다. 사례 연구는 정책 선호도를 검사하고, 대안적인 미래 경로를 비교하며, 단일 시간 단위의 특징 할당 방법으로는 감지할 수 없는 하위 행동을 드러내는 Tree 기반 표현을 사용하는 방법을 보여준다.