LLM agents를 위한 이론적 지식에 근거한 이벤트 기반 개인화된 기억 평가 지표

개인화된 기억 평가 지표의 필요성

대규모 언어 모델은 금융 상담 등 위험성이 높은 분야에서 개인화된 보조 도구로 점점 더 많이 사용되고 있습니다. 그러나 여전히 장기적인 관점에서 개인화된 사용자 모델을 유지하고 업데이트할 수 있는지에 대한 의문이 남아 있습니다. 현재 개인화된 기억 측정 기준은 주로 사실적인 기억력이나 약한 제약 조건에 의한 모델 생성 경로에 의존하여, 이벤트 기반 선호도 적응은 여전히 미흡합니다.

이러한 문제를 해결하기 위해, 우리는 이벤트 기반 언어 모델을 위한 새로운 평가 지표를 제안합니다. 이 지표는 개인화된 기억력을 장기적인 투자 경로에 대한 평가로 구성되며, 생성 파이프라인은 결정론적 이론에 근거한 영향 규칙, 제어된 모델 설명, 그리고 자동화된 품질 검사를 포함합니다.

새로운 평가 지표의 특징

새로운 평가 지표는 재난 이후 점검을 포함하여, 모델이 재난을 통합한 지 여부를 결정합니다. 또한, 분석을 통해 요약 기반 기억이 사실적인 세부 정보를 보존하는 반면 선호도 신호가 필요한 개인화된 기억을 잃어버리며, 간단한 검색이 목적을 위해 설계된 기억 시스템보다 성능을 내는 것을 보여줍니다.

새로운 평가 지표의 성능을 평가하기 위해, 2,994개의 질문과 276명의 사람에 대한 7개의 주요 언어 모델 및 최대 7개의 기억 구성이 테스트되었습니다. 결과는 새로운 평가 지표의 효용성을 보여주며, 위기가 발생한 후 이 격차는 점점 더 벌어지게 됩니다.