학습이 중단되는 유효성 검사를 통해 본 갱신 승인: 강인한 에이전트의 지속적인 학습 auditing

갱신 승인은 유용한 지속적인 학습을 막을 수 있는 유해한 정책 갱신을 거부하는 데에도 필요합니다. 우리는 업데이트 승인을 에러 제어와 일정한 상호 작용 비용 내에서 유지되는 학습 기회를 평가해야 함을 주장합니다.

범위 기반 신뢰 게이트의 실패

우리는 구체적인 실패를 식별했습니다: 범위 기반 신뢰 게이트는 상당한 비용 내에서 이전 작업의 변하지 않은 행동을 인증하지 못합니다. 이는 갱신 승인이 학습이 중단되는 것을 방지하는 데 실패할 수 있음을 의미합니다.

paired-binomial 구성

paired-binomial 구성은 결과 불일치가 드물면 이 부담을 줄여줍니다. 이는 갱신 승인 프로토콜이 더 효율적으로 설계될 수 있음을 의미합니다.

인증된 역사적 참조 승진과 라운드 레벨 미스 기회 지표

우리는 또한 인증된 역사적 참조 승진과 라운드 레벨 미스 기회 지표를 명시했습니다. 이는 갱신 승인 프로토콜이 더 안전하고 효율적으로 설계될 수 있음을 의미합니다.

실증

우리는 32개 시드를 사용한 단일 단계 푸시 디아그노스틱을 구축했습니다. 이 실험에서는 새 paired checks가 2,000 에피소드 당 단계당 일반 갱신 스트림의 31.6%를 승인했으며, 범위 기반 게이트는 0%를 승인했습니다. 또한, 무조건적 재생은 폐쇄 루프 실행에서 더 잘 학습했습니다.

학습된 동적 스트레스 테스트

우리는 또한 학습된 동적 스트레스 테스트를 구축했습니다. 이 실험에서는 모델 편향과 피드백 선택 오류를 구분할 수 있었습니다.

결론

우리의 연구는 갱신 승인 프로토콜을 설계할 때 고려해야 할 중요한 요소를 식별했습니다. 우리는 갱신 승인이 학습이 중단되는 것을 방지하는 데 중요함을 강조합니다. 또한, 우리는 갱신 승인 프로토콜이 더 안전하고 효율적으로 설계될 수 있음을 보여주었습니다.