모티프-맬뱀(Motif-Mamba): 긴 범위 시퀀스 모델링을 위한 개선된 네트워크 모티프

대규모 언어 모델의 긴 범위 시퀀스 모델링

대규모 언어 모델의 긴 범위 시퀀스 모델링은 현재 연구의 한 큰 문제입니다. 자기 주의가 시퀀스 길이에 비례하여 증가함으로써, 효율적인 긴 범위 시퀀스 모델링은 어렵게 됩니다. 맘바는 선형 시간을 유지하는 선택적 상태 공간 반복을 통해 이 문제를 해결하지만, 주로 대각 상태 전이로 인해 상태 차원 간의 명시적인 상호작용이 제한됩니다. 이러한 문제를 해결하기 위해 모티브-맘바가 제안됩니다. 모티브-맘바는 맘바를 위한 구조화된 상태 공간 모델로, 모티브 제약된 저급 반복 경로를 추가합니다. 모티브-맘바의 저급 반복 경로는 세 노드 네트워크 모티브의 동적 특성을 모방합니다. 이 경로는 은닉 상태를 컴팩트한 동적 하위 공간으로 투영하고, 모티브 지시된 상호작용을 강제하며, 결과적인 동적 특성을 원래 상태 공간으로 매핑합니다.

모티브-맘바의 성능

모티브-맘바는 맘바의 선형 시간 반복 구조를 유지하면서, 상태 차원 간의 상호작용을 향상시킵니다. 실험 결과 긴 범위 시퀀스 확장, 언어 모델링 벤치마크, 뇌-컴퓨터 인터페이스 디코딩에서 모티브-맘바가 맘바 백본보다 더 나은 성능을 보입니다. 모티브-맘바는 긴 범위 시퀀스 모델링을 위한 효과적인 구조적 전처리를 제공합니다. 모티브-맘바는 맘바 백본보다 더 나은 성능을 보이는 실험 결과를 통해, 모티브 지시된 저급 동적 특성이 긴 범위 시퀀스 모델링에 효과적인 구조적 전처리인 것을 보여줍니다. 이러한 결과는 모티브-맘바의 잠재력을 보여주며, 대규모 언어 모델의 긴 범위 시퀀스 모델링에 새로운 방향을 제시합니다.