행동에 의한 거울 근접 시간 차이 학습을 통한 오프 정책 예측 속도 향상

gradient 시간 차이 방법은 선형 함수 근사에서 안정적인 오프- полити 예측을 제공하지만, 그 실제 성능은輔助 변수의 기하학적 구조에 의해 강하게 영향을 받는다. 기존의 Mirror-Prox TD 방법은 일반적으로 특성 공분산 기하학을 사용한다. 반면, 하이브리드 TD 방법은 행동-정책 전이 정보가 더 정보가 풍부한 업데이트기하학을 제공할 수 있다고 제안한다. 이 논문은 행동-정책 Mirror-Prox 시간 차이 방법을 제안하는데, 이 방법은 기존의 Mirror-Prox 시간 차이 방법과 달리 행동-정책 벨만 행렬의 대칭 부분을 사용한다. 이 방법은 primal과 auxiliary 변수에 대해 단일 학습률을 유지하고, Hybrid saddle-point 연산에 대한 Mirror-Prox 예측-수정 단계를 적용한다. 이 논문은 표준적 확률적 근사 가정하에서 고정 정책 선형 예측에 대한 공식적인 수렴 분석을 제공한다: 행동-정책 기하학이 정의가 양의인 경우, 평균 시스템이 Hurwitz인 경우, 바운디드니스가 Lyapunov 논증으로부터 따를 수 있는 경우, 확률적 반복문이 ODE 방법에 의해 수렴하는 경우. 또한, projected-oracle ergodic gap bounds와 GTD2-MP와의 정확한 평균 연산자 비교를 spectral radius of the deterministic Mirror-Prox error matrix를 통해 유도한다. 분석 결과, STHTD-MP가 GTD2-MP보다 작은 평균 수축 인자를 가질 수 있는 경우가 있다. 행동-정책 기하학이 saddle-point 기하학을 개선할 때 이 조건이 성립한다는 것을 두-state, Random Walk, Boyan Chain benchmark에서 정확한 수치 평균 연산자 분석이 지원한다. 반면, Baird의 counterexample는 엄격한 가정에 실패하는 특수한 경계 사례로 식별된다.