AgentKVShift: 효율적인 에이전틱 메모리 시스템의 키-값 캐시 재사용

대규모 언어 모델(LLM) 에이전트는 수백 번의 상호 작용을 통해 agentic 메모리 시스템을 사용하여 내용을 유지합니다. 메모리에서 내용을 검색할 때마다, LLM이 생성한 메타데이터와 같은 요약, 키워드 및 태그를 포함한 구조화된 메모리 단위 전체를 다시 인코딩해야 합니다. 이는 Key-Value (KV) 상태로의 변환에 의해 주도되며, 이는 prefll 지연 시간의 주요 요인이 됩니다. KV 재사용 방법 중 현재는 LAG-style raw 문장에만 적용된 훈련되지 않은 KV 재사용 방법이 있습니다. 이 방법들은 구조화된 agentic 메모리에 적용되면 성능이 저하됩니다. 우리는 AgentKVShift라는 훈련되지 않은, probe를 사용한 KV 잔차 보정 방법을 제시합니다. AgentKVShift는 검색한 메모리 단위당 작동합니다. 중요한 발견 중 하나는 KV 재사용 잔차가 공유 메모리 수준의 오프셋과 작은 토큰별 변동으로 분해될 수 있다는 것입니다. 작은 프로브 세트에서 이 오프셋을 추정하면, 우리는 재사용되는 모든 토큰을 단일 가중치로 수정할 수 있습니다. 이전의 재사용 방법은 어떤 토큰을 다시 계산할지 결정하고 나머지 캐시를 오래된 상태로 유지합니다. AgentKVShift는 또한 다시 계산하지 않는 토큰을 수정하여, 전체 차단에 대한 유용한 신호로 캐시 리프레시 비용을 사용합니다. 네 개의 오픈 소스 LLM(3B ~ 32B 매개 변수)과 두 가지 장기 영역 agentic 메모리 벤치마크(장기 대화 및 agentic 애플리케이션)에서 AgentKVShift는 리프레시하는 캐시의 10-30%만 사용하여 거의 전체 다시 계산 성능을 달성합니다. 이전의 재사용 방법은 리프레시하는 캐시의 45-55%만 사용할 때에야 이 성능을 달성할 수 있습니다. 이 영역에서 AgentKVShift는 단일 A100에서 no-KV-reuse와 비교하여 prefll 속도 향상 2-3.5배를 제공합니다. AgentKVShift는 KV 캐시 양자화와도 독립적으로 작동하며, 공격적인 2- 및 4비트 설정에서 이전의 재사용 방법보다 F1 점수가 2배 이상 유지됩니다.