나무늘보 증류: 약한 모델이 강한 모델의 추론 버그를 진단하는 방법

대규모 언어 모델(LLM)은 이론적으로 해결할 수 있는 문제를 해결하지 못하는 경우가 종종 있습니다. 하지만 이러한 문제는 모델의 전반적인 능력 때문이 아니라 중간 단계의 지역적인 추론 버그 때문이라고 주장합니다. 이러한 버그는 자주 수정할 수 있습니다. 강력한 모델이 해결한 동일한 문제의 prefix를 사용하여 약한 모델의 patch를 삽입하면 올바른 해결책으로 향하는 경로를 재지정할 수 있습니다. 그러나 약한 패치나 수정된 경로를 직접 조정하는 것은 모델이 미래 추론 분포를 재구성하는 방식에 있는 유용한 신호를 내포하지 않습니다. 따라서 Woodpecker Distillation이라는 약한 모델에서 강력한 모델로의 훈련 프레임워크를 제안합니다. 이 방법은 성공적이고 실패한 약한 모델 패치를 동일한 prefix에서 비교하고, 그들의 유도된 미래 토큰 예측에서 교정적인 교사 분포를 생성하고, 이 신호를 강력한 모델에 압축합니다. 수학적 추론 벤치마크에 대한 실험은 Woodpecker Distillation이 강력한 모델의 성능을 지속적으로 향상시키고 직접적인 모방 baseline보다 우수하다는 것을 보여줍니다.