인지 범주형 트랜스포머: 범주론적 수학적 전제와 언어 모델링

인지 범주형 트랜스포머(Cognitive Categorical Transformer, CCT)는 대규모 언어 모델(LLM)인 GPT-2 Small의 백본에 범주론적 수학적 전제를 기반으로 한 지식 요소를 추가하여 언어 모델링 성능을 향상시킨다. CCT는 WikiText-103 데이터셋에서 21.27의 검증 퍼플렉스성(perplexity)를 달성하였으며, 동일한 조건하에 훈련된 GPT-2 Small의 baseline보다 2.92 PPL 감소가 기록되었다.

CCT의 성능 향상은 GT-Full simplicial message passing의 bypass에 기인한다고 밝혀졌으며, GT-Full simplicial message passing을 bypass한 경우 23.72의 검증 퍼플렉스성이 달성되었다. 이는 GT-Full의 84%가 CCT의 성능 향상에 기여한다는 것을 의미한다.

범주론적 수학적 전제와 언어 모델링

인지 범주형 트랜스포머(CCT)는 대규모 언어 모델(LLM)인 GPT-2 Small의 백본에 범주론적 수학적 전제를 기반으로 한 지식 요소를 추가하여 언어 모델링 성능을 향상시키는 것을 목표로 한다. CCT는 WikiText-103 데이터셋에서 21.27의 검증 퍼플렉스성을 달성하였으며, 동일한 조건하에 훈련된 GPT-2 Small의 baseline보다 2.92 PPL 감소가 기록되었다.

구조/일관성 구별

인지 범주형 트랜스포머(CCT)의 성능 향상은 GT-Full simplicial message passing의 bypass에 기인한다고 밝혀졌으며, GT-Full simplicial message passing을 bypass한 경우 23.72의 검증 퍼플렉스성이 달성되었다. 이는 GT-Full의 84%가 CCT의 성능 향상에 기여한다는 것을 의미한다.

관련 연구

• 인지 범주형 트랜스포머(CCT)는 대규모 언어 모델(LLM)인 GPT-2 Small의 백본에 범주론적 수학적 전제를 기반으로 한 지식 요소를 추가하여 언어 모델링 성능을 향상시키는 것을 목표로 한다.
• CCT는 WikiText-103 데이터셋에서 21.27의 검증 퍼플렉스성을 달성하였으며, 동일한 조건하에 훈련된 GPT-2 Small의 baseline보다 2.92 PPL 감소가 기록되었다.
• 인지 범주형 트랜스포머(CCT)의 성능 향상은 GT-Full simplicial message passing의 bypass에 기인한다고 밝혀졌으며, GT-Full simplicial message passing을 bypass한 경우 23.72의 검증 퍼플렉스성이 달성되었다.