장기 기억의 최종 정확도에서 놓친 부분을 탐색하는 MemTrace

장기 기억력의 한계

대규모 언어 모델(LLM) 에이전트는 점차적으로 사용자의 정보를 여러 세션 동안 유지하는 장기 기억력을 유지하고 있습니다. 그러나 일반적으로 이러한 기억력은 질문 행이나 에피소드의 정확도 합계로 평가됩니다. 이 방법은 여러 질문이 동일한 사실을 조사하는 경우에도 각 질문 행을 독립으로 평가하므로, 그 사실이 조건이 달라짐에 따라 어떻게 행동하는지 보여주지 못합니다.

이러한 한계를 극복하기 위해 MemTrace라는 새로운 벤치마크를 소개합니다. MemTrace의 단위는 사용자에 대한 단일 타입의 사실인 지식 포인트(knowledge point)이며, 이는 개별 질문이 아닌 하나의 단위입니다. MemTrace는 각 사실을 세 가지 제어된 차원에서 조사합니다: 기억 나이(memory age), 질문 유형(question type), 그리고 증거 조건(evidence condition).

MemTrace의 발견

13개의 기억 시스템 구성과 4개의 패러다임을 평가한 결과, 동일한 풀링 정확도가 다른 실패를 숨기고 있음을 발견했습니다. 현재와 이전 상태를 회복하는 것은 사실의 변화를 추적하는 것을 의미하지 않고, 안전한 배제는 거짓 전제를 수정하는 것을 의미하지 않습니다. 또한, 증거 사용이 검색보다 주요한 벽돌이라는 사실을 발견했습니다.

시스템이 실패하는 경우, 증거가 도출 가능했을 때 10배 더 자주 누락되었습니다. 이러한 결과는 장기 기억력을 향상하기 위해서는 도달 가능한 증거를 더 효율적으로 사용해야 하며, 단순히 더 많은 저장 공간이나 검색을 제공하는 것만으로는 부족함을 시사합니다.