듀얼 엔트로피 강화 정책 최적화: MLLMs에서 환상 생성을 위한

강화 학습(RL)은 멀티모달 대규모 언어 모델(LLLM)의 추론을 더 명확하게 만들기 위해 널리 사용되지만, 오류의 위험성이 가장 높은 곳에서 오류가 발생하는 것을 방지하는 효과는 균일하지 않다. 이는 보상에서 매개변수 업데이트로의 수정 chain에서 두 개의 약점으로 인한 것이다. rollout 단계에서, 의미론적 엔트로ピー가 높은-hard 쿼리---그것들은 단결적으로 잘못된 샘플 그룹을 생성---는 그룹 상대적 이익을 0으로 무조건적으로 낮추는데, 오류 위험성이 가장 높은 곳에서 그러하다..optimization 단계에서, 잘못된 토큰에 대한 자신감은 gradient-invisible: 카테고리 정책의 기대 score- gradient norm은 분포가 단단해질 때 분포가 단단해질 때 사라지므로, 가장 오류가 많은 예측에 가장 약한 업데이트를 제공한다. 우리는 신호 분산 정규화와 gradient preconditioning을 결합한 Dual-Entropy Enhanced Policy Optimization (DEEPO) 제안한다: 의미론적 엔트로ピー가 트리거한 전문가 접두사가 고위험성 쿼리에 토대된 연속을 제공하여 직접 감독을 제공하고 이익 분산을 복원하고, 이익 신호에 의한 Renyi preconditioning은 logit-레벨 saturation을 방지하여 조정의 범위 내에서 자신감 있는 오류에 대한 수정을 제공한다. 두 branch 모두 GRPO보다 개선되며, VideoMMMU---평가 시트에서 가장 복잡한 장기 시각화 작업(+4.0$, 95% CI [1.1, 6.9])---에서 상위 통계적 유의성으로 상호작용하며, 그 밖의 곳에서는 추가적으로 개선된다. DEEPO는 오류를 줄이면서 정확도와 훈련 안정성을 보존한다.