언어 모델의 안정적인 오류 수정: 기능 보존을 위한 냉동 기초 조정

언어 모델의 안정적인 오류 수정

대규모 언어 모델의 출력에 오류가 있는 경우, 작은 수정 모듈이 오류를 수정할 수 있을까요? 오류 수정이 기초적인 기능을 저하하지 않도록 할 수 있을까요? 이러한 실제적인 문제를 해결하기 위해 연구자들은 오류 수정 모듈을 제안했습니다. 이 모듈은 4억 6,500만 텍스트 모듈의 약 0.73%인 3,400만 학습 가능한 변수를 가지고 있으며, 기존 모델 위에 위치하고 있습니다.

이 오류 수정 모듈은 83,400개의 오류 수정 데이터에서 참조 없는 방식을 통해 지도 학습이 이뤄졌습니다. 60개의 도메인 시험 문제에서 이 모듈은 기초 모델의 오류를 53.3%(다시 표현된 변형: 43.3%)로 수정하는 반면, 테스트된 기능 지표에서 기능 저하를 보이지 않습니다. 이러한 결과는 오류 수정과 기능의 상호작용을 보여주는 실험 결과를 통해 확인되었습니다.

실험 결과와 분석

중요한 항목의 중요성을 보여주는 실험 결과를 통해, 이 항목을 0.01로 낮추면 오류 수정률이 35.0%로 떨어집니다. 초기 계층에서 숨겨진 상태를 주입하는 변형(1,600만 변수, 지도 학습만)에서는 50.0%/55.8%를 달성하지만, 출력 계층 수준의 오류 수정보다 못합니다. 더 얕은 주입에서는 30.0%/28.3%로 떨어집니다.

이 연구는 설계 원칙(기초 모델 고정 + 출력 계층 수정 + 안정화)에 대한 연구이며, 아키텍처의 새로운 특징을 주장하는 것은 아닙니다. 모든 코드, 주요 결과의 가중치, 그리고 평가 스크립트는 공개되며(심층 학습 변형은 코드만 공개되며, 학습된 심층 체크포인트는 공개되지 않습니다). 이러한 연구 결과는 언어 모델의 안정적인 오류 수정을 위한 중요한 단계로 볼 수 있습니다.