전체 메모리 감축을 위한 스트리밍 오디오-비디오 LLM의 교란 감지 기능을 가진 OmniMem

오디오-비전 대규모 언어 모델(LLM)이 장기 동영상 이해를 위한 강력한 약속을 보유하고 있지만, 동영상 토큰과 키-값(KV) 캐시의 선형 성장으로 인해 장기 동영상 추론이 기본적으로 제한된다. 오디오-비전 대규모 언어 모델을 위한 메모리 효율적인 스트리밍 프레임워크인 OmniMem을 제시한다. 기존 압축 방법이 모든 토큰을 균일하게 다루는 것과 달리, OmniMem은 모달리티-aware 메모리 할당 전략을 도입하여 시각적 및 오디오적 맥락을 별도로 관리하며 두 모달리티 간의 심각한 토큰 불균형을 해결한다. 또한 OmniMem은 KV 상태를 보존하기 위해 인식 오차-aware 메모리 선택을 통해 정보가 축적되는 메모리를 compact하게 유지하며 장거리 이해를 희생하지 않는다. 실용적인 배포 제약 조건 하에서 압축을 강화하기 위해 우리는 또한 비용-aware 정교화 방법을 탐구한다. 이 방법은 모델이 유지되는 메모리에 유용한 정보를 축적하는 것을 장려한다. 동영상-MME Long, LVBench, LVOmniBench에서 동영상-SALMONN 2+ 및 Qwen-2.5-Omni와 실험을 통해 OmniMem이 동일한 메모리 예산 하에서 강력한 훈련-free 압축 기준선보다 2-4% 절대 정확도 향상을 보이며, 정교화 이후에 추가 1-2%의 이익을 보인다.