장기 사용자 상호작용에서 embodie된 다중 모드 언어 모델 에이전트 개인화

대규모 멀티모달 언어 모델(LLLM)- 기반 몸체(agent)가 물리 환경에서 복잡한 작업을 해결하는 데 강력한 잠재력을 보인다. 하지만 개인화된 지원은 일반적인 지시를 따르거나 물체 카테고리만 식별하는 것보다 더 필요하다. 실제 세계 시나리오에서 목표는 종종 이전 상호 작용을 통해 암시적으로만 지정되며, 시간이 지남에 따라 축적된 개인화된 맥락을 활용하여 agent가 개인화된 맥락과 시각적 개념을 포함한 의미적 기억과 몸체 경험인 에피소드적 기억을 캡처하는 멀티모달 지식 그래프로 이전 상호 작용을 조직한다. POLAR은 현재 요청을 해석하고 작업 수행을 안내하기 위해 적절한 기억을 검색하여 물체 작업을 실행한다. POLAR은 다양한 평가 시나리오와 여러 대규모 멀티모달 언어 모델(LLLM) 백본을 통해 시간 동안 사용자에게 특화된 맥락을 추적하는 것을 포함하여 기억의 역할을 연구하기 위해 평가된다. 결과는 이전 상호 작용에서 축적된 정보를 더 효과적으로 사용하는 것을 허용하여 개인화된 맥락과 시각적 개념을 포함한 의미적 기억과 몸체 경험인 에피소드적 기억을 캡처하는 멀티모달 기억 메커니즘을 제안한 것에서 지속적으로 성능을 향상시킨다. 특히 agent가 여러 상호 작용을 거쳐 추론하는 것을 수행하거나, 사용자에게 특화된 맥락을 시간에 따라 추적하거나, 여러 상호 작용을 거쳐 추론하는 것을 수행해야 할 때 이익이 특히 두드러진다.