확산 언어 모델: 실험적 분석

확산 언어 모델의 등장

대규모 언어 모델(LLM)은 언어 모델링을 혁신시켰으며, 다양한 작업에서 강력한 성능을 달성했습니다. 최근에는 다음 토큰 예측 대신 반복적인 노이즈 제거를 통해 텍스트를 생성하는 대안 방식인 확산 언어 모델(DLM)이 등장했습니다. 이 방식은 전체 시퀀스의 병렬 개선이 가능하게 해주며, DLM의 병렬화가 가능해지도록 해줍니다. 다수의 확산 기반 아키텍처가 제안되기는 하지만, 평가 프로토콜, 데이터 세트, 추론 지출, 생성 하이퍼파라미터 등이 다르기 때문에, 이들의 능력과 제공하는 트레이드 오프를 이해하는 것은 어렵습니다. 본 연구에서는 현대 DLM의 체계적인 실험 분석을 제시합니다. 구체적으로, 우리는 8개의 최신 DLM을 8개의 벤치마크에서 평가합니다. 또한, 생성 품질과 컴퓨터 성능 효율성 모두를 고려합니다.

분석 결과와 결론

다운스트림 평가 외에도, 우리는 inference 시간 요인에 대한 영향을 분석합니다. 더불어, 큰 규모의 실험에 대조적으로, 동일한 조건하에 훈련된 작은 모델의 제어된 비교를 수행합니다. 본 분석은 DLM이 다양한 작업, 아키텍처, inference 지출에 대한 확산 기반 언어 모델링의 강점과 약점을 강조합니다. 또한, DLM의 동작이 생성 시간 설계 선택에 의해 강하게 영향을 받으며, 성능과 컴퓨터 성능 효율성 사이의 고유한 트레이드 오프를 보여줍니다. 결론적으로, 본 연구는 현대 DLM의 능력과 배포 특성을 제공하는 실용적인 통찰력을 제공합니다.