기억의 신뢰격차: 지속적 기억_AGENT의 기능에 따라 실패

지속적 기억이 지원하는 개인화된 에이전트는 저장된 사실이 현재의 권위적인 증거를 무시하고 덮어쓰는 경우 문제가 발생할 수 있다. 이러한 문제는 대규모 언어 모델(LLM)의 능력에 따라 달라질 수 있다. 연구진은 동일한 모델 패밀리의 모델 크기 시리즈를 사용하여 두 가지 의미의 "기억 없음"을 대표하는 2개의 벤치마크 테스트를 수행했다.

기억 신뢰 격차

이 연구의 결과는 모델의 크기가 증가할수록 지속적 기억의 신뢰 격차가 커짐을 보여준다. Benefit suite에서는 모델이 저장된 값을 사용하여 답변을 하는 비율이 0.92-1.00으로 매우 높은 반면, Safety suite에서는 모델의 크기가 증가할수록 오류가 발생하는 비율이 증가하는 것으로 나타났다. 또한, 모델의 크기와 특징이 기억 신뢰 격차에 미치는 영향에 대해 분석했다. 특징 중 하나인 최근성(recency)과 라벨의 존재 여부가 모델의 크기에 따라 달라지는 것으로 나타났다. 최근성이 높은 경우와 라벨이 없는 경우에 모델이 저장된 값을 더 많이 사용하는 것으로 나타났다. 이러한 결과는 지속적 기억의 신뢰 격차를 줄이기 위한 전략을 개발하는 데 도움이 될 수 있다. 예를 들어, 메타데이터를 노출시키거나 모델의 크기를 조절하는 방법이 있다. 기억 신뢰 격차는 대규모 언어 모델(LLM)의 한계를 보여주는 중요한 문제이다. 이러한 문제를 해결하기 위해 모델의 설계와 학습 방법을 개선하는 것이 필요하다. 또한, 모델의 크기와 특징이 기억 신뢰 격차에 미치는 영향을 더 자세히 분석하여 모델의 성능을 향상시키는 데 도움이 될 수 있다.