인지 범주형 트랜스포머: 범주론적 수학적 전제와 언어 모델링
인지 범주형 트랜스포머(Cognitive Categorical Transformer, CCT)는 대규모 언어 모델(LLM)인 GPT-2 Small의 백본에 범주론적 수학적 전제를 기반으로 한 지식 요소를 추가하여 언어 모델링 성능을 향상시킨다. CCT는 WikiText-103 데이터셋에서 21.27의 검증 퍼플렉스성(perplexity)를 달성하였으며, 동일한 조건하에 훈련된 GPT-2 Small의 baseline보다 2.92 PPL 감소가 기록되었다.