대규모 언어 모델의 논리적 성능 원인 탐구: RL vs SFT 훈련 모델의 수식 해결 능력

대규모 언어 모델의 논리적 성능 원인 탐구

대규모 언어 모델을 이용한 강화 학습(RL) 훈련 모델이 수식 해결 능력에서 상위 성능을 나타내고 있는 것으로 알려져 있습니다. 하지만 이러한 훈련 모델의 내부적인 표현 차이점은 아직 명확하게 밝혀지지 않았습니다. 본 연구에서는 RL 훈련 모델의 내부 표현 차이점을 분석하여 RL 훈련 모델이 SFT 훈련 모델보다 더 우수한 수식 해결 능력을 보이는 원인을 탐구하였습니다.

연구 결과

본 연구에서는 두 가지 주요 결과를 얻었습니다.

• 레이어별 히든 상태를 대상으로 한 선형 프로브를 사용하여 RL 훈련 모델이 SFT 훈련 모델보다 더 높은 정확도를 나타내는 것을 관찰하였습니다. 이는 RL 훈련 모델이 더 선형적으로 분리되고 구조화된 표현을 나타내는 것을 의미합니다.
• 평균 절단 연구를 통해 RL 훈련 모델이 더 깊은 레이어가 점차 더 중요한 역할을 하며, SFT 훈련 모델이 레이어별 중요도가 균등하게 분산되는 것을 관찰하였습니다.

이러한 결과는 RL 훈련이 모델이 논리적 문제를 표현하고 처리하는 방식에 대한 근본적인 재구조화를 일으키는 것을 의미합니다.

모델의 컴퓨팅 할당 특성

본 연구에서는 반복 샘플링을 통해 문제를 대상으로 한 토큰 카운트의 변동성을 분석하였습니다. 이러한 변동성은 모델이 문제에 대한 적응적인 컴퓨팅 할당을 어떻게 수행하는지에 대한 정보를 제공합니다.

본 연구에서는 RL 훈련 모델과 SFT 훈련 모델 간의 변동성 차이점을 관찰하였습니다. 하지만 이러한 차이점은 모델의 전체 훈련 PIPELINE에 달려 있는 것으로 나타났습니다.

본 연구에서는 이러한 변동성의 의미를 다음과 같이 해석하였습니다.

• 변동성이 높은 RL 훈련 모델은 불확실한 정책을 나타내며, 불가분적 해법을 나타내는 경향이 있습니다.
• 변동성이 낮은 RL 훈련 모델은 안정적인 정책을 나타내며, 가독성 높은 해법을 나타내는 경향이 있습니다.

본 연구는 대규모 언어 모델의 논리적 성능 원인 탐구에 대한 새로운 관점을 제공하였으며, RL 훈련 모델의 내부 표현 차이점을 분석하여 RL 훈련 모델이 SFT 훈련 모델보다 더 우수한 수식 해결 능력을 보이는 원인을 탐구하였습니다.