행동 기반 보조 정정법을 위한 오프-정책 시간 차이 예측

시간 차이 학습은 오프-정책 샘플링에서 instable할 수 있습니다. TDC는 오프-정책 TD를 안정화시키기 위해 보조 공분산 정정을 사용하고, TDRC는 이 정정을 단일 시간 규모 재귀로 정규화합니다.

이 연구에서는 선형 예측 설정에서 행동 기반 보조 공분산 기하학을 대체하는 것을 연구합니다. 이 기하학은 가치 함수 근사 공간의 특성 공간 동력학을 이해하는 표준 지역 모델입니다.

우리는 TDC 보조 행렬 (C) 를 행동 베ลล만 행렬 (A_\mu) 로 대체하여 BA-TDC를 만들고, 동일한 행동 기반 방정식을 정규화하여 BA-TDRC를 만들었습니다. 이 두 단계의 구성은 행동 기반 기하학의 CONTRIBUTION과 정규화의 CONTRIBUTION을 분리합니다.

선형 분석은 또한 신경망 가치 근사에서 보조 기하학 설계에 대한 질문에 대한 일관된 모델을 제공합니다. 여기서 특성 공분산과 시간 전환 행렬은 마지막-layer 정정 동역학을 형성합니다.

우리는 유한 상태 평균 시스템 형식을 제공하고, instantiated 평균 시스템에 대한 Hurwitz 안정성 조건하에서 fixed-point 보존 및 거의 확률적으로 수렴을 증명합니다. 또한, exact 선형 오류 재귀의 스펙트럴 반지름을 통해 결정론적 평균 속도 비교를 제공합니다.

이론적인 분석 외에도, 우리는 두 가지 상태 카운터 예제, Baird의 카운터 예제, 랜덤_walk, Boyan Chain에 대해 실험을 수행하여 행동 기반 대체의 효용성을 검증하였습니다.

실험 결과는 행동 기반 대체가 일부 작업에서 매우 유용하더라도, 더 어려운 설정에서 안정적인 성능을 보장하기 위해서는 정규화가 필수적임을 보여주고 있습니다.

• 행동 기반 보조 정정법을 위한 오프-정책 시간 차이 예측
• 시간 차이 학습의 안정성
• 보조 공분산 정정법
• 행동 베ลล만 행렬
• TDRC