LLM agent를 위한 프로파일 그래프 메모리: 내재된 엔터티 간 전이의 이야기 프로필을 통해

장기 기억의 중요성

대규모 언어 모델(LLM) 에이전트가 여러 세션에 걸쳐 상호 작용하는 경우, 장기 기억은 필수적인 요소입니다. 그러나 현재의 기억 평가 지표는 주로 단일 hop recall을 평가하며, 다중 hop 연관은 거의 측정되지 않습니다. 이는 LLM 에이전트의 성능을 제대로 평가하지 못하는 문제를 야기합니다. LLM 에이전트의 성능을 평가하기 위해 새로운 평가 지표가 필요합니다. 이를 위해 MemHop이라는 다중 hop 기억 평가 지표가 제시되었습니다. MemHop은 1,000개의 질문과 hop 깊이 1-5, 10개의 사회 네트워크 시나리오를 포함하며, per-hop 증거 어노테이션을 포함한 것을 제공합니다. 이는 LLM 에이전트의 다중 hop 연관 성능을 평가하는 데 도움이 됩니다.

Profile-Graph Memory 구조

또 다른 중요한 요소는 Profile-Graph Memory (ProGraph) 구조입니다. 이 구조는 두 개의 층으로 구성되며, (i) 프로필 확장 - 엔터티 이름의 substring-matched 탐색, LLM가 작성한 프로필 이야기에서 자연스럽게 나타나는 것을 포함하여, explicit knowledge-graph 구축의 최소한의 대안입니다. 또한 (ii) 압축 잔차 - 각 프로필 업데이트와 함께 exact dates, quantities, named items가 co-extracted되는 것을 포함하여 구성됩니다. ProGraph 구조는 LLM 에이전트의 성능을 향상시키는 데 도움이 됩니다. ProGraph 구조의 효과는 여러 실험을 통해 입증되었습니다. full-grid ablation은 교차-benchmark 기제 특화: 프로필 확장은 다중 hop 추론을 drive하며, 압축 잔차는 precision recall를 drive하며, cross-effects는 single architecture 내에서 3pp 이하입니다. ProGraph은 MemHop에서 80.1%를 평균하며 FullContext 참조와 일치하고, LoCoMo에서 78.4%를 평균하며 FullContext보다 11.3pp를 초과하며, Mem0, A-Mem, HippoRAG, RAG를 모두 능가합니다. 이는 ProGraph 구조가 LLM 에이전트의 성능을 향상시키는 데 효과적임을 보여줍니다.