Agent 평가 차이: 기업 AI 조직은 실재 가치와 일치하는 문제가 아니라 커버리지 문제를 가지고 있으며 대부분은 생산 환경으로 배포하고 있습니다.

인간이 AI 에게 더 많은 자율성을 부여하면서, 그에 대한 자율성을 평가하는 데 대한 신뢰를 줄여가고 있다. 157 개 기업을 대상으로 한 연구에 따르면, 절반의 기업은 내부 평가를 통과한 AI agent를 고객에게 배포한 후에 실패한 적이 있다. 현재 1/5 만이 자동 평가에 대한 신뢰를 가졌고, 가장 큰 약점은 평가가 실제 세계 결과와 일치하지 않는다는 것이다. 그러나 2/3 는 자동 평가만으로도 프로덕션에 agent 변경을 배포하도록 허용하거나, 그에 대한 엔지니어링을 진행 중이다. 결과적으로 평가 간격이 생기게 되는데, 이는 기업이 AI agent에 부여하는 자율성과 그에 대한 평가를 신뢰하는 정도의 간격을 의미한다. 이 연구는 기술 리더들이 agent 성능을 측정하는 방식을 조사한다. 그들은 어떤 신뢰성 및 평가 플랫폼을 사용하고, 그들을 선택하고 신뢰하는 방법, 프로덕션에서 어떤 문제가 발생하는지, 그리고 인간이 loop에 포함되지 않은 상태로 agent가 얼마나 далеко까지 작동할 수 있는지에 대한 내용을 포함한다. 중심적인 발견은 평가 간격이다. 이 간격은 기업이 AI agent에 부여하는 자율성과 그에 대한 평가를 신뢰하는 정도의 간격을 의미한다. 절반의 기업(50%)은 최근 1년 동안 내부 평가를 통과한 AI agent를 고객에게 배포한 후에 실패한 적이 있다. 또한 1/4 만이 이러한 실패를 여러 번 겪었다. 평가 자체에 대한 신뢰도 적으며, 5% 만이 자동 평가에 대한 신뢰를 가졌다. 가장 큰 약점은 평가가 실제 세계 결과와 일치하지 않는다는 것이다. 기업은 평가를 통과한 AI agent가 실제로 작동하는지 여부를 확인하기 위해 더 많은 노력을 기울이고 있다. 그러나 2/3 가 이미 낮은 위험성의 agent에 대해 자동 평가만으로도 프로덕션에 배포하도록 허용하거나, 그에 대한 엔지니어링을 진행 중이다. 평가 스택은 provider-native tooling에 의해 주도되고 있으며, provider-native tooling과 no dedicated tooling이 가장 많이 사용되고 있다. 프로덕션 모니터링은 uptime 및 cost를 모니터링하는 경우가 많으며, output quality를 모니터링하는 경우는 적다. 약 1/4 만이 실시간으로 output quality를 모니터링하고 있다. 기업은 자동 평가를 신뢰하기 위해 consistency를 중시하고 있다. 약 1/3 만이 evaluation consistency를 가장 중요한 성공 요소로 꼽고 있다. 투자는 observability 및 human review에 집중하고 있다. 약 26% 만이 human review workflows에 투자를 증가시키고 있다. 투자는 tooling reshuffle로 이어질 것으로 보인다. 약 64% 만이 새로운 evaluation platform을 도입하거나, 기존 platform을 교체할 계획이다.