롤아웃 조건부 온라인 증류를 위한 보존 인지 지식 주입

지식 주입의 문제점

지식 주입은 사전 훈련된 대규모 언어 모델을 새로운 사실이나 분야에 특화된 지식으로 업데이트하는 기술입니다. 그러나 전체적인 권위 있는 답변을 맞추는 것은 업데이트되지 않은 행동에 편차를 유발할 수 있습니다. 이는 모델이 새로운 지식을 학습하는 과정에서 기존에 학습한 지식이 손실되거나 왜곡될 수 있음을 의미합니다. 이를 완화하기 위해 온라인 증류가 사용되지만, 이는 거친 감독만 제공하여 참조가 지원하는 롤아웃 토큰을 부적절하게 강조하고 참조가 지원하지 않은 사실만 간접적으로 감독할 수 있습니다.

RoCo-ACE의 소개

이러한 문제점을 해결하기 위해 RoCo-ACE라는 새로운 목적 함수가 제안되었습니다. RoCo-ACE는 롤아웃 조건 온라인 증류를 위한 보존 인지 지식 주입을 목표로 합니다. RoCo는 동일한 롤아웃 참조가 없는 또는 참조가 있는 확률 대조를 사용하여 참조가 지원하는 롤아웃 토큰에 추가 증류를 재배치하며, ACE는 롤아웃에서 전체 답변 모방이 아닌 권위 있는 앵커가 빠져있는 경우 희소한 참조 측 앵커 교정을 추가합니다. 이러한 접근법은 기존의 방법들보다 더 정확한 지식 주입 정확도를 달성하면서 평가된 보존을 기본 모델에 근접시키는 것을 목표로 합니다. RoCo-ACE는 세 가지 지식 주입 설정, 여섯 가지 보존 평가 지표, 여러 기준선, 여러 기본 모델에 걸쳐 평가되었습니다. 결과적으로 RoCo-ACE는 비교한 방법들 중에서 가장 정확한 지식 주입 정확도를 달성하면서 평가된 보존을 기본 모델에 근접시키는 것을 달성했습니다. 이는 RoCo-ACE가 지식 주입의 문제점을 효과적으로 해결할 수 있는 방법임을 시사합니다. 지식 주입은 대규모 언어 모델의 지식을 업데이트하는 중요한 기술이므로, RoCo-ACE와 같은 새로운 접근법은 이러한 모델의 성능을 향상시키는 데 기여할 수 있을 것입니다.