기억화-일반화 전환의 양적화: 스케일링 법칙과 Grokking의 상분리 구조

그로킹 현상과 전환 지연

인공신경망은 기억화 이후 일반화에 대한 지연된 전환을 겪는다는 '그로킹' 현상이 알려져 있다. 이 현상은 인공신경망의 학습 과정에서 중요한 역할을 하지만, 매개 변수 공간에서 이 현상이 언제 발생하는지에 대한 양적 구조는 아직 규명되지 않았다. 그로킹 현상은 대규모 언어 모델과 같은 과대 매개 변수화 네트워크에서 특히 중요하게 고려되어야 한다. 그로킹 현상은 인공신경망의 학습 과정에서 기억화와 일반화의 경계를 나타낸다. 기억화는 인공신경망이 데이터를 기억하는 과정이며, 일반화는 인공신경망이 새로운 데이터에 대한 예측을 하는 과정이다. 그로킹 현상은 이 두 가지 과정 사이의 전환 지연을 나타낸다. 이 전환 지연은 인공신경망의 성능을 향상시키는 데 중요한 역할을 하지만, 그로킹 현상이 언제 발생하는지에 대한 양적 구조는 아직 규명되지 않았다.

그로킹의 상분리 구조

산술에서 2중-레이어 MLP 384개 구성의 기억화-일반화 경계를 매핑하고, 일반화 시작 시간에 대한 기하급수 계열 관계를 적합하여, $T_{\mathrm{그로킹}} \propto H^{-0.27}\, D^{-2.04}\, \eta^{-0.50}\, \lambda^{-0.64}$라는 관계가 발견되었다. 이 지수 계열의 계수 구조는 데이터 복잡도($D^{-2.04}$)가 모델 용량($H^{-0.27}$)보다 주요한 전환 주체임을한다. 즉, 데이터 양을 두 배로 하면 일반화가 약 4배 가속화되지만, 모델 너비를 두 배로 하면 약 1.2배만 가속화된다. 가중치 감소량 $\lambda \gtrsim 1.0$ 이상의 단조로운 전환 경계는 그로킹과 비그로킹 구성 사이의 뚜렷한 구분선으로, 가중치 규모가 일반화 전환 중에 단조적으로 압축되는 것을 보이며, 이중 규제가 낮은 복잡도 해를 선택하는 것과 일치한다.