배치된 시스템을 위한 에이전트 수명 엔지니어링

인공지능(AI) 에이전트는 장기적으로 운영되면서 운영 시스템으로 사용되면서, 여전히 초기화된 모델처럼 평가되고 있다. 하지만 이는 시스템의 기본적인 질문을 놓치고 있다. 그 질문은 에이전트가 배포된 후 얼마 동안 신뢰할 수 있는 상태를 유지하는지다. 모델의 가중치가 고정되어 있어도, 에이전트의 실제 상태는 계속해서 변하고 있다. 이는 에이전트가 상호 작용 기록을 압축하고, 메모리 저장소에서 데이터를 조회하고, 업데이트를 통해 사실을 수정하고, 정기적인 유지 보수를 통해 변한다.

에이전트 수명 엔지니어링

에이전트의 신뢰성은 전체 시스템의 수명 특성으로 변하고, 모델의 snapshot 특성만으로는 충분하지 않다. AgingBench라는 에이전트 수명 엔지니어링의 longitudinal 신뢰성 벤치마크를 소개한다. 이는 배포된 에이전트가 부식되는지 여부를 측정하는 것 뿐만 아니라, 부식의 형태와 수리를 위한 대상의 위치를 측정한다. AgingBench는 에이전트의 수명 과정을 네 가지 메커니즘으로 분류한다: 압축 수명, 간섭 수명, 수정 수명, 유지 보수 수명. 이러한 실패를 진단하기 위해 AgingBench는 시간적 의존성 그래프와 pair counterfactual probe를 사용한다. 이는 메모리 pipe line의 write, retrieval, utilization 단계에 대한 진단 프로파일을 생성한다. 여러 시나리오, 모델, 메모리 정책, 그리고 runner가 제어하는 에이전트와 자율적인 에이전트를 포함하여, 에이전트의 수명은 단일 축으로만 존재하지 않는다. 행동 테스트는 사실적 정밀도가 저하되더라도 깨끗하게 유지될 수 있다. 유도된 상태 추적은 단일 모델 내에서 급격하게 붕괴할 수 있다. 에이전트의 수명 평가, 메커니즘 수준 진단, 단계 목표 수리는 신뢰성 있는 에이전트 배포를 위해서는 필요하다. 단순히 더 강한 day-one 모델만으로는 충분하지 않다. 이러한 결과는 에이전트의 수명 엔지니어링이 중요한 연구 분야임을 강조한다. 에이전트의 신뢰성과 수명을 향상시키기 위해, 우리는 더 많은 연구와 개발이 필요하다.