기억이 도움이 될 때 : 도구 사용을 위한 LLM agent의 장기 기억에 대한 비용에 대한 평가

대규모 언어 모델(LLM) agent의 장기 기억은 오늘날 대화 기록에 대한 질문에 대한 답변을 측정하는 LoCoMo, LongMemEval과 같은 회상 성능 지표로 평가된다. 이러한 지표는 기억한 사실이 도구를 사용하는 agent의 행동을 바꾸는지 여부를 측정하지 않는다. MERIT (Memory Evaluation for Realistic Instrumented Tasks)이라는 새로운 지표와 하네스를 제시한다. MERIT은 실제적인 도구 사용 task를 위한 memory의 유용성을 측정하며, explicit cost accounting을 통해 task-executing agent의 marginal utility를 측정한다. MERIT은 세 가지 도메인에서 episodic tool-use task를 제공하며, 이전 에피소드의 사실에 의존하는지 자동으로 확인하는 leak check; difficulty ladder; controlled memory corruption; 그리고 모든 memory operation에 대한 full token과 dollar metering을 제공한다. 23,440 에피소드 ($42.57)의 점수를 기준으로 gpt-4.1-mini의 두 번째 покол기에 대한 pilot test와 preregistered 3-model x 3-seed grid (GPT-4.1, Claude Haiku 4.5; memory side를 fixed로 유지)에서 memory는 dependent-task 성공률을 leak-verified floor의 0.00에서 0.55-1.00로 끌어올린다. 업데이트 된 사실에 대한 embedding retrieval은 불안정하게 붕괴되며 (0.30-0.95; max seed gap 0.45), agent는 올바르게 검색된 값에만 55%의 경우에 행동한다. 반면 update-on-write stores (구조화된 사실 저장소 및, 특히, LLM 요약)는 0.70-1.00에 유지되며, hybrid는 단독 fact store보다 나쁘다. Claude Sonnet 5의 최신 покол대의 spot-check (gated on clean full-replay control)도 같은 패턴을 재현한다. memory의 implementation을 바꾸면 task 성공률이 최대 60점까지 바뀌며, full replay는 절대 비용 효율적이지 않다: 각 도메인에서 가장 좋은 조건은 marginal utility당 2.7-3.9배의 비용을 제공한다. 우리는 지표, 하네스, 및 모든 trace를 공개한다.