장기간 운영되는 모니터링 에이전트를 위한 벤치마크: 센티널 벤치

인공지능 에이전트는 점차적으로 분당, 시간당, 또는 더 긴 시간 동안 작업을 수행하는 것을 요청받고 있다. 그러나 에이전트의 기본적인 행동 모델은 연속적인 행동이다: 도구 호출, 페이지 업데이트, 대체품 검색, 또는 진행을 강제하기 위한 다른 행동이다. 이러한 긴 작업은 대부분 지속적인 주의의 전략으로 잘 수행된다. 대신, 에이전트는 환경을 감시하고, 외부 이벤트가 진행을 가능하게 할 때 즉시 반응하고, 기다리면서 자원을 낭비하지 않도록 한다.

이 클래스의 작업 진행을 측정하기 위해, 우리는 시간이 지남에 따라 감시 작업을 위한 공개 벤치마크인 센티넬 벤치를 소개한다. 센티넬 벤치는 100개의 작업과 10개의 합성 웹 환경을 포함한다. 이 환경은 이메일, 캘린더, 금융, 전문 네트워킹, 그리고 엔터테인먼트를 포함한다. 각 환경은 라이브 웹 인터페이스를 노출하고, 스크립트된 이벤트 시퀀스를 재생하며, 에이전트가 웹 페이지의 상태가 바뀔 때 웹 페이지를 탐색하고, 합리화해야 한다.

성능 평가

센티넬 벤치는 작업 완료, 반응 시간, 그리고 자원 사용을 측정하여, 반응성과 비용 사이의 트레이드오프를 노출한다. 우리는 3가지 모델과 2가지 브라우저-에이전트 하드웨어를 통해 결과를 보고하며, 향후 비교를 위한 성능 기준선을 설정하고, 에이전트 설계 선택이 주요 지표에 큰 영향을 미친다는 것을 보여준다. 이 결과를 통해, 센티넬 벤치는 에이전트의 행동에서 의미 있는 차이를 구별한다.

따라서, 센티넬 벤치는 에이전트의 성능을 평가하고 개선하는 데 중요한 도구가 될 수 있다. 에이전트 개발자들은 센티넬 벤치를 사용하여 에이전트의 성능을 측정하고, 개선점을 찾을 수 있다. 또한, 에이전트의 성능을 비교하고, 최적의 에이전트를 선택하는 데에도 사용될 수 있다.