LLM의 효과적인 미세 조정에는 인간이 읽을 수 있는 텍스트가 꼭 필요한가?

대규모 언어 모델의 세부 조정의 필요성

대규모 언어 모델의 효과적인 세부 조정에는 인간이 읽을 수 있는 글자의 형태가 꼭 필요한지 알아보기 위해 연구를 진행했습니다. 모델에 따라서 훈련을 진행하는 표현을 보존하거나 향상시키기 위해 인간이 읽을 수 있는 글자의 형태가 필요할까요? 이를 위해 원하는 업데이트 일치 합성 데이터라는 개념을 제안했습니다. 이 방법은 대규모 언어 모델에서 고정된 참조 모델의 활성화-기울기 피드백을 사용하여 연속적인 합성 입력 임베딩의 최적화를 안내합니다. 이 방법의 특징은 활성화 기울기의 역할을 참고하여 유용한 적응 업데이트 대신 원본 글자 재구성이나 언어적 유연성을 목표로하지 않는다는 점입니다. 결과적인 임베딩은 하류 세부 조정에 직접 사용되며, 질적 검토를 위해만 이산 토큰 투영이 사용됩니다. 이러한 접근법은 기존의 방법들과 차별화되며, 대규모 언어 모델의 세부 조정에 새로운 가능성을 열어줍니다.

실험 결과와 성능 평가

대규모 언어 모델과 퀸 가족의 6개 모델(10억에서 320억까지의 매개변수 범위)에서 수행된 실험은 지식, 수학적 사고, 코드 생성, 그리고 일반 지식 사고를 포함하는 6개의 평가 기준을 대상으로했습니다. 매치된 로라 적응 설정 하에서, 이 방법은 원본 자연어 데이터와 성능이 비슷하며, 여러 구성에서 이보다 성능이 뛰어난 반면, 그라드엠엠보다 대부분의 비교에서 성능이 뛰어납니다. 추가 실험은 일반 도메인과 작업을 위한 특화된 원본 데이터를 대상으로했습니다. 평가된 합성 설정 하에서, 이 방법은 그라드엠엠보다 성능이 뛰어나며, 비슷한 최고 그래픽 처리 장치 메모리값을 기준으로합니다. 이러한 결과는 이 방법이 대규모 언어 모델의 세부 조정에 효과적인 접근법임을 시사하며, 기존의 방법들을 대체하거나 보완할 수 있는 가능성을 가지고 있습니다. 또한, 이러한 연구는 대규모 언어 모델의 발전에 기여하며, 다양한 응용 분야에서 활용될 수 있는 새로운 기술을 개발하는 데 중요한 역할을 할 것입니다.