신뢰할 수 있는 장기 기억 통합을 위한 LLM agent의 장기 기억 학습

대규모 언어 모델(LLM) 에이전트는 제한된.context window를 넘어 extended interaction과 personalized assistance를 지원하기 위해 long-term memory를 의존한다. 현재의 memory agent는 write, revise, delete와 같은 generated operation을 통해 external memory를 actively update한다. 그러나 이러한 update는 중요한 정보를 생략하거나 existing memory를 corrupt하거나 unsupported hallucinated content를 introduce할 수 있다. 저장된 이러한 오류는 future reasoning과 generation에 영향을 미치는 persistent system-state failure가 된다. 이 논문에서 우리는 TrustMem을 제안한다. TrustMem은 memory consolidation의 신뢰성을 향상시키기 위한 framework이다. TrustMem은 Memory Transition Verifier를 통해 memory update의 transition process를 coverage, preservation, faithfulness에 대한 평가를 통해 평가한다. TrustMem은 further candidate update들 사이의 preference pair를 constructs하여 같은 memory state에서 preference-guided reinforcement learning을 통해 memory updating behavior를 직접 optimize한다. extensive experiment는 TrustMem이 memory utility와 reliability를 향상시킨다는 것을 보여준다. TrustMem은 MemoryAgentBench, HaluMem, Mem-alpha validation set에서 state-of-the-art 결과를 달성하고, HaluMem memory extraction을 12.14 F1 점 향상시켰으며, omission, corruption, hallucination을 transition-level에서 각각 40.1%, 79.1%, 50.0%까지 감소시켰다.