메모리 내 반복: 작업 메모리 확장에 대한 언어 agent의 인 프로세스 검색

메모리 내 반복의 중요성

대규모 언어 모델과 같은 언어 에이전트는 관찰, 추론, 행동의 루프를 실행하지만, 추론에 사용되는 메모리는 이 루프 외부에 존재한다. 즉, 메모리는 최대 한 턴당 한번씩만 조회되는 저장소이다. 하지만 메모리가 루프 내부로 이동하여, 매 단계마다 읽고 쓰여지는 경우를 가정해 볼 수 있다. 이러한 경우의 장애물은 항상 지연이었다. 네트워크 저장소는 수십에서 수백 밀리초의 시간이 걸려 응답하며, 루프 내에서 조회할 경우 종단 간 지연이 최대 83배까지 증가할 수 있다.

프로세스 내 저장소의 이점

이전의 연구는 이러한 비용을 관리하는 것에 초점을 맞추었지만, 우리는 지연이 저장소의 위치에 따른 속성이지, 루프 내 패턴이 아니라고 주장한다. 프로세스 내 저장소는 약 100마이크로초의 시간이 걸려 응답하며, 이는 네트워크 영역보다 세 자릿수의 속도 차이를 보인다. 이러한 속도로 인해 매 단계의 비용이 급격히 감소한다. 확장된 마음 가설의 평등 원칙에 따라, 충분히 빠른 저장소는 에이전트의 작업 메모리가 아닌, 단순히 조회하는 도구가 아닌 확장된 작업 메모리가 된다. 이러한 전제는 인과적인데, 고정된 턴당 메모리 지연 예산을 유지하면서 저장소의 응답 속도만 변경할 경우, 지연과 함께 중복 행동이 단조롭게 증가한다. 이러한 원리는 실제로 구현 가능한데, 네트워크 저장소와 비교하여 프로세스 내 저장소의 속도가 훨씬 빠르기 때문이다. 예를 들어, 대형 언어 모델에서 저장소 연산의 50번째 백분위가 80-165마이크로초인 경우, 저장소의 조회가 루프 내에서 수행될 경우, 회수율이 0/5에서 3.6-4.8/5로 향상된다. 이는 저장소의 속도가 작업 메모리 확장에 중요한 역할을 한다는 것을 보여준다. 이러한 연구는 언어 에이전트의 성능을 향상시키기 위한 새로운 방향을 제시한다.