학습이 중단되는 유효성 검사를 통해 본 갱신 승인: 강인한 에이전트의 지속적인 학습 auditing
갱신 승인은 유용한 지속적인 학습을 막을 수 있는 유해한 정책 갱신을 거부하는 데에도 필요합니다. 우리는 업데이트 승인을 에러 제어와 일정한 상호 작용 비용 내에서 유지되는 학습 기회를 평가해야 함을 주장합니다. 우리는 구체적인 실패를 식별했습니다: 범위 기반 신뢰 게이트는 상당한 비용 내에서 이전 작업의 변하지 않은 행동을 인증하지 못합니다. paired-binomial 구성은 결과 불일치가 드물면 이 부담을 줄여줍니다. 우리는 또한 인증된 역사적 참조 승진과 라운드 레벨 미스 기회 지표를 명시했습니다.