비대칭 클리핑 비지도 학습 알고리즘: GRPO를 위한 우위 플립핑 기반 비권리 클리핑 비대칭 자가 교육

RLVR(Reward가 검증 가능한 학습, 특히 그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO))는 대규모 언어 모델의 추론을 향상시키기 위해 광범위하게 사용되어 왔습니다. 그러나 결과 단계에 대한 보상은 희박한 감독만 제공하고, 특정 프롬프트에 대해 샘플링된 모든 경로가 모두 올바르거나 잘못된 경우 그룹 상대적 이점은 사라집니다. OPSD(온-폴리시 자기 분출, On-Policy Self-Distillation)은 밀집한 토큰 단위 지침을 제공하지만, 토큰 선호도는 경로가 올바르거나 잘못된 경우 모두 다를 수 있습니다. OPSD-style 특권 교사 컨텍스트에서 empirical 진단을 수행한 결과, 교사 양성 및 교사 음성 간격 신호가 서로 다른 잡음 프로파일을 나타냈습니다. CAST(Answer-free Self-distillation for GRPO-style RLVR) 학습은 이러한 관찰에 의해 мотив화되었으며, GRPO-style RLVR에 대한 answer-free 자기 분출 방법을 제안합니다. CAST는 검증기 기반 GRPO 목표를 유지하지만, 경로가 올바른지 아닌지에 따라 토큰 단위 이점을 형성하기 위해 stop-gradient 자기 교사를 사용합니다. 이전의 자기 분출 RLVR 방법과 달리, CAST는 참조 솔루션 조건에 대한 교사 점수를 필요로하지 않으며, 자기 교사 로그 확률 차이를 훈련 과정 전체에 유지합니다. 또한 CAST는 교사 음성 토큰에 대해 부호가 제한된 부정적인 토큰 단위 이점을 assign하고, 교사 양성 토큰에 대해 경계가 있는 양의 지역 이점을 assign합니다. CAST는 zero-variance all-correct 및 all-wrong 그룹에 대해 부호가 제한된 기본 이점을 assign하여, 그렇지 않으면 zero-gradient 그룹이 검증기에 서명된 토큰 feedback를 제공할 수 있습니다. 수학적 추론에 대한 실험 결과, CAST는 RLVR 훈련을 향상시키면서도 경로 단위 목표를 유지하는 가벼운 검증기 기반 목표를 유지합니다.