엔트로피 기반 희소 전문가 라우팅: 토큰화가 없는 LLM의 엔트로피 인식

최근 바이트 레벨의 대규모 언어 모델(LLM)은 동적으로 크기를 조절한 패치로 바이트를 그룹화하여 토크나이저-free 모델링을 점점 더 경쟁력을 높이고 있습니다. 그러나 현재의 바이트 패치 아키텍처는 여전히 모든 패치에 동일한 밀도 피드 포워드 계산을 적용합니다. 이.uniform 계산은 패치 의미와 그Granularity의 변화를 고려하지 못하여 모델 용량을 적절하게 조정하지 못합니다. 이 제한을 해결하기 위해 우리는 EntropyMoE라는 동적 바이트 패치에 적합한 Mixture-of-Experts(MoE) 아키텍처를 제안합니다. EntropyMoE는 전역 패치 트랜스포머의 밀도 피드 포워드 모듈을 Top-K 전문가 레이어로 대체합니다. 각 동적 패치는 전문가 라우팅의 기본 단위이며 바이트 커버리지가 작업 부하 계산에 기여하는 데 영향을 줍니다. 라우터는 패치 엔트로피에서 전문가를 직접 선택하고, 동적 패치 생성에 기반한 그Granularity 신호를 사용하여 희소 계산을 조직합니다. 패치 엔트로피와 길이가 전문가 특화도를 조절하는 특성 공간을 정의합니다. 실험 결과 EntropyMoE는 밀도와 희소 기반의 기본선에 비해 가장 낮은 보관 비트당 바이트를 달성하며, 다운스트림 정확도가 비슷한 수준을 유지합니다. 이러한 결과는 패치 엔트로피를 희소 조건 계산의 라우팅 좌표로 효과적으로 사용하고 토크나이저 기반 표현을 넘어서 Mixture-of-Experts 모델링을 확장합니다.