본문으로 건너뛰기

장기 언어_AGENT의 중량 꼬리 메모리 트레이스

AI 자동 생성

장기 예측 언어 agent는 점점 더 외부 메모리를 세계 모델로 고정시키며, 현재의 메모리 시스템은 일반적으로 작업 성공률이나 토큰 비용만으로 평가됩니다. 우리는 메모리 사용의 형태가 누락된 것이며, 한정된 맥락과 반복적인 검색에서 agent 메모리는 작은 핵심에 집중할 수 있으며, 예측 오류가 축적되는 드문 상태를 긴 꼬리에서 남겨둘 수 있음을 주장합니다. 우리는 이 효과를 보존된 꼬리 감사를 통해 연구하였으며, 집중은 재현 가능하지만 정책에 의존하는 것을 발견했습니다. 랜덤_walk agent는 로그 정규 분포와 호환되는 검색 사본을 생성한다면, 의미론적 LLM 정책은 가장 강력한 절단된 제곱법과 호환되는 핵심-꼬리 트레이스를 생성합니다. 이 감사에 의해 мотив화된 우리는 Core--Tail World Model (CTWM), rank-based 메모리 컨트롤러를 제안합니다. CTWM는 단일 지수 $\tau$를 사용하여 prompt 지출을 할당하며, 요약된 꼬리를 유지합니다. Synthetic Graph World에서 CTWM는 전체 상태와 전환 커버리지를 유지하며, graph-memory baseline과 비교하여 prompt 토큰을 5.9% 줄이고, 하위 절반 꼬리 예측 오류를 13.6% 감소시킵니다. ALFWorld의 paired 비교에서는 동일한 결과가 token 절약에 대해 일관되며, LongMemEval에서 aggregate 정확도 평준화와 함께 24.48% 토큰을 절약합니다. 이러한 결과는 heav-tailed memory traces가 한정된 검색의 진단뿐만 아니라, 토큰 효율적인 agent 세계 모델의 실제 제어 신호임을 시사합니다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

에이전트 1일 전

자기 최적화자로 작동하는 agent가 여러 업무를 위한 자체 진화하는 핸들

연구자들은 대규모 언어 모델(LLM) 에 대한 코드를 조정하는 방법을 연구하고 있습니다. 이 코드를 '하네스'라고 합니다. 하네스는 언어 모델 에이전트를 조직하고, 도구를 호출하고, 컨텍스트를 관리하며, 실행을 제어합니다. 언어 모델이 더 강해질수록 최근 연구에서는 에이전트가 자신의 하네스를 개선하는 방법을 연구하고 있습니다. 이 방법을 '자신이 진화하는 하네스'라고 합니다. 현재 대부분의

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.