강화 학습에서 약한 정책으로 강한 정책으로: 보조 branch를 통해 보강

강화 학습의 한계점

대규모 언어 모델의 추론력을 향상시키기 위해 보증된 보상을 사용하는 표준적인 접근 방식은 강화 학습입니다. 그러나 이 패러다임에는 중요한 한계점이 있습니다. 즉, 어려운 추론 과제에서 목표 모델의 샘플들은 종종 의미적 중복성을 보이며, 오류의 계곡에 수렴하여 정책 업데이트에 대한 보상을 제공하지 않습니다.

이러한 한계점을 극복하기 위해, 새로운 패러다임이 필요합니다. 약한 정책을 강한 정책으로 학습하는 방법은 대규모 언어 모델에서 수학적 추론을 위한 성능을 개선할 수 있습니다. 보조 모델이 목표 모델의 샘플을 보조 분기를 통해 보강하는 것을 통해, 정책 업데이트를 제한하여 보다 강한 정책을 학습할 수 있습니다.

새로운 방법

이 새로운 방법을 새로운 방법이라고 하며, 목표 모델이 보조 분기를 통해 보강된 샘플을 완성하는 것을 통해, 정책 업데이트를 제한하여 보다 강한 정책을 학습할 수 있습니다. 새로운 방법은 보조 분기를 통해 보강된 샘플을 완성하는 것을 통해, 정책 업데이트를 제한하여 보다 강한 정책을 학습할 수 있습니다.

새로운 방법의 성능은 대규모 언어 모델에서 수학적 추론을 위한 성능을 개선할 수 있습니다. 기본 방법과 비교하여 첫 번째 성공률을 62.3%에서 64.2%로 개선하며, 학습 속도를 3.55배 개선합니다. 이 결과는 약한 보조 분기가 더 강한 목표 모델 추론 정책을 유도할 수 있음을 보여줍니다.