TTE-Flash: Chain-of-Thought를 통해 멀티모달 표현을 가속화하는 '생각-그후-임베딩 토큰'

연구진은 Chain-of-Thought(CoT) 논리를 통해 Universal Multimodal Embedding(UME)의 성능을 크게 향상시켰다. 하지만 CoT를 생성하는 데 필요한 컴퓨팅 자원은 종종 부담이 된다. 연구진은 CoT를 생성하는 대신 latent think 토큰을 사용하여 CoT를 생성하는 것을 방지한다. 이 연구에서는 think 토큰과 임베딩 토큰을 추출하는 방법과 think 토큰과 임베딩 토큰을 학습하는 방법에 대한 두 가지 주요 아키텍처 디자인을 조사한다.

연구 방법

연구진은 TTE-Flash-2B라는 새로운 멀티모달 표현 모델을 제안한다. 이 모델은 대규모 언어 모델(LLM)에서 think 토큰과 임베딩 토큰을 추출한다. 연구진은 think 토큰과 임베딩 토큰을 학습하는 방법에 대한 두 가지 주요 아키텍처 디자인을 조사한다.

결과

연구진은 TTE-Flash-2B가 MMEB-v2 벤치마크에서 explicit-CoT 대비 성능이 우수함을 발견했다. 연구진은 think 토큰이 textually와 visually interpretable임을 발견했다. 연구진은 zero-shot evaluation을 통해 15개의 비디오 데이터셋에서 scaling behavior를 발견했으며, task requirements에 따라 adaptive think budget allocation의 필요성을 발견했다.

도출

연구진은 TTE-Flash-2B가 멀티모달 표현을 가속화하는 Chain-of-Thought 논리를 사용하여 성능을 향상시킨다는 것을 발견했다. 연구진은 think 토큰과 임베딩 토큰을 학습하는 방법에 대한 두 가지 주요 아키텍처 디자인을 조사했다. 연구진은 TTE-Flash-2B가 MMEB-v2 벤치마크에서 explicit-CoT 대비 성능이 우수함을 발견했다. 연구진은 think 토큰이 textually와 visually interpretable임을 발견했다. 연구진은 zero-shot evaluation을 통해 15개의 비디오 데이터셋에서 scaling behavior를 발견했으며, task requirements에 따라 adaptive think budget allocation의 필요성을 발견했다.