논리적 추론을 위한 일반화에 대한 재고: 최적화, 데이터, 모델 가능성에 대한 조건부 분석

논리적 추론을 위한 일반화에 대한 보편적인 이야기 인 LLM(대규모 언어 모델) 후 훈련의 주요 시나리오에 따르면, 감독 훈련(Supervised Finetuning, SFT)에서는 학습을 기억하며 강화 학습(Reinforcement Learning, RL)은 일반화한다고 말한다. 우리는 이 주장을 논리적 추론을 위한 SFT와 긴 chain-of-thought (CoT) 감독을 사용하여 재고하고, 최적화 동적, 훈련 데이터, 및 베이스 모델 가능성에 의해 조건부로 형성된 cross-domain 일반화가 존재하지 않는다는 것을 발견했다. 보고된 일부 실패는 최적화 미흡한 결과물이다: cross-domain 성능은 먼저 저하되고 연장된 훈련과 함께 회복되고 개선된다(자연스러운 저하-회복 패턴), 따라서 짧은 훈련 점검은 일반화를 과소 평가하게 된다. 데이터의 질과 구조 모두 중요하다: 낮은 질의 해결책은 일반화를 크게 손상시키지만, 검증된 긴-CoT 추적은 일관된 cross-domain 이익을 제공한다. 모델 가능성은 필수적이다: 더 강한 모델은 토이 계산 게임에서부터 전이 가능한 절차적 패턴(예: 역추적)을 내재화한다. 반면 약한 모델은 표면적인 verbosity를 모방한다. 이 일반화는 비대칭적이다: 논리는 개선되지만 안전성이 악화된다. 따라서 논리적 추론을 위한 SFT의 일반화 여부가 아니라 일반화가 언제 이뤄지고 어떤 비용이 발생하는지에 대한 질문을 재정의한다.