슬라이딩 윈도우 주의형 강화 학습이 수학적 추론에서 주의형 주의를 경쟁력 있는 것으로 만듭니다.

논문 제목: arXiv:2606.11634v1 논문 요약: 합리적이고 의사결정적인 대규모 언어 모델(LLM)의 속도는 빠르게 향상되었지만, 이에 따라 긴 문맥에 대한 추론의 필요성이 증가했습니다. 그러나 SELF-ATTENTION(SA)이 문맥 길이에 비례하여 성능이 향상되므로, 이에 대한 해결책을 찾기 위해 SWARR(Sliding-Window Attention with Reinforced Adaptation for Math Reasoning)이라는 방법을 연구했습니다. SWARR은 두 가지 단계로 구성되는데, 첫 번째 단계는 사전 훈련된 SA 모델을 효율적으로 SWA 모델로 변환하고, 두 번째 단계는 강화 학습(RL)을 통해 정책을 적응하는 것입니다. SWA 모델은 SA 모델과 비교했을 때 아직도 성능이 떨어진다는 것을 발견했으며, 이 성능 격차가 부분적으로 데이터-아키텍처 불일치로 인해 발생했다고 추측합니다. 대부분의 SFT 데이터는 SA 모델을 위한 것이며, 긴 범위 의존성을 포함하고 있어 SWA 모델에 의해 모델링되기 어렵습니다. 강화 학습은 SWA 제약 하에서 SELF-GENERATED 트래제스를 최적화하기 때문에, 트래제스를 더 잘 SWA와 일치시키도록 적응할 수 있습니다. 수학적 추론 벤치마크에서 수행한 실험은 SWARR이 SA와의 성능 격차를 크게 좁히며, SWA 변환 중 손실된 정확성을 회복하는 동시에 SELF-ATTENTION의 선형 복잡도에 대한 효율성 이점을 유지할 수 있음을 보여줍니다. 본 논문의 중심 CONTRIBUTION은 강화 학습이 변환과 SFT만으로 추론한 SWA의 유효성에 대한 결론을 바꾸는 것이라는 것입니다.