사용자 인코더를 다시 생각해 보라: 시나리오 적응 사용자 표현을 위한 diffusioin 상태 라우팅

기존 대규모 언어 모델(LLM)-기반 사용자 인코더는 다종의 행동 로그를 시계열 예측[autoregressive (AR) prediction]을 통해 정적 표현으로 압축한다. 그러나 그들의 단방향 제약은 양방향 정보 흐름을 제한하고, 다원 신호의 공동 보존을 방해하며, 상호 모드 상호작용을 방해한다. 따라서 학습된 정적 표현은 다양한 하류 시나리오의 구체적인 증거 요구를 충족하기 어려운다. 이러한 한계를 해결하기 위해, 우리는 확산 언어 모델(dLLM)의 반복적 소음 제거 과정[iterative denoising process]을 다분도 재구성 공간[multi-granularity reconstruction space]으로 사용한다. 이 통찰을 바탕으로, 우리는 FINDERS(FactorIzatioN of Diffusion statEs for Routing across Scenarios) 라는 라우터가 장착된 dLLM 프레임워크를 제안한다. FINDERS는 4가지 연산을 포함한다: 소음 제거, 요소 분해, 라우팅, 압축. 학습 가능한 메타 슬롯은 보완적인 소음 제거 상태를 모드 및 모드 특이적인 행동 요인으로 전이 가능한 교차 모드 의미론으로 조직한다. 시나리오 질의를 통해 라우터는 라우팅 전 경로에 대한 잔차 경로를 통해 관련 슬롯 방향을 동적으로 강조한다. 이에 따라 라우터는 라우팅 전 경로에 대한 잔차 경로를 통해 관련 슬롯 방향을 동적으로 강조한다. 라우터는 라우팅 전 경로에 대한 잔차 경로를 통해 관련 슬롯 방향을 동적으로 강조한다. 라우터는 라우팅 전 경로에 대한 잔차 경로를 통해 관련 슬롯 방향을 동적으로 강조한다. 라우터는 라우팅 전 경로에 대한 잔차 경로를 통해 관련 슬롯 방향을 동적으로 강조한다. 라우터는 라우팅 전 경로에 대한 잔차 경로를 통해 관련 슬롯 방향을 동적으로 강조한다. 라우터는 라우팅 전 경로에 대한 잔차 경로를 통해 관련 슬롯 방향을 동적으로 강조한다.