이터레이티브 파인튜닝은 대부분 이데몬트

연구 배경

대규모 언어 모델(LLM)과 같은 모델은 다양한 특성이나 의견을 가질 수 있습니다. 이러한 특성이나 의견이 모델이 자신의 출력을 기반으로 훈련되는 경우, 다음 세대 모델에서 강화되는지 조사하기 위해 이 연구를 수행했습니다.

연구 방법

이 연구에서는 세 가지 설정을 사용했습니다.

• 인수 모델에 대한 수동 파인튜닝(Supervised Finetuning, SFT)
• 베이스 모델에 대한 합성 문서 파인튜닝(Synthetic Document Finetuning, SDF)
• 직접 선호도 최적화(Direct Preference Optimization, DPO)

연구 결과

연구 결과, 이터레이티브 파인튜닝은 대부분 이데몬트이며, 특성 강화는 데이터 양에 따라 매우 민감합니다. SFT와 SDF 설정에서는 특성은 대부분 감소하거나 유지되며, 추가 파인튜닝Cycle은 아무런 효과가 없습니다. DPO 설정에서는 특성 강화가 신뢰할 수 있게 발생하지만, 모델이 초기화되는 경우 강화는 사라집니다.

결론

이 연구의 결과는, 이터레이티브 파인튜닝이 특성 강화에 효과적인 수단일 수 있지만, 데이터 양에 따라 매우 민감합니다. 이러한 특성 강화는 모델의 일관성을 희생하는 경우가 많습니다. 따라서, 이터레이티브 파인튜닝을 사용할 때, 데이터 양을 제한하고, 모델을 초기화하는 것이 유용할 수 있습니다.