BV-Blend: 불확실성 가중치 역사적 기준선으로 안정적인 비평자 없는 강화 학습

비평자 없는 강화 학습은 비평자(값 함수)를 학습하지 않고, 메모리 및 계산 오버헤드를 줄여 큰 언어 모델(LLM)과 같은 대규모 언어 모델을 위한 강화 학습을 구현할 수 있습니다. 그러나 Group Relative Policy Optimization(GRPO)과 같은 이 방법은 이익 추정에 따라서 불안정할 수 있습니다.

특히, 모든 롤아웃이 동일한 보상을 받을 때, 그룹 내 보상 분산이 0이되고 그룹 정규화가 0이익을 출력하여 그룹을 정의하는 그룹이 학습을 방해하는 cold-start 환경에서 이익 추정이 불안정해집니다.

우리는 BV-Blend, 비평자 없는 프레임워크를 소개합니다. BV-Blend은 세미네틱 클러스터 조건된 역사적 분포를 사용하여 이익 추정의 안정성을 개선합니다. BV-Blend은 EMA 추적된 보상 분포를 유지하고 표준 오류의 평균(SEM) 대신 표준 오류의 분산을 사용하여 신뢰도 가중치를 계산합니다.

BV-Blend은 역사적 기준선과 프롬프트 지역 기준선을 블렌딩하여 표준화된 이익을 계산합니다. 이 표준화된 이익은 PPO-style clipped 업데이트를 위한 이익을 계산합니다.

BV-Blend의 이점

• 이익 추정의 안정성을 개선합니다.
• 대규모 언어 모델(LLM)과 같은 큰 언어 모델을 위한 강화 학습에서 중요합니다.
• cold-start 환경에서 학습을 개선합니다.

BV-Blend은 verifiable reasoning benchmarks에서 훈련 안정성과 성능을 개선하고, group-normalized method가 cold-start 환경에서 멈추는 경우에도 robust합니다.