Agent의 목표 압박 하에 사용자 참여 경계를 유지하는가?

인공지능이 점차 웹 애플리케이션 및 네트워크 침투 테스트에 실제로 자율적으로 배치되는 경우, 단 하나의 범위 밖의 행동만으로도 고객과 계약 조건을 위반할 수 있다. 기존의 공격 보안 지표는 단순히 해킹 능력을 측정했는데, 지표가 saturate되면 실제로 배치에 걸리는 가장 큰 장애물은 scope adherence의 특수한 경우다. 우리는 ScopeBench라는 30개의 dead-end agentic 보안 과제를 소개한다. 이러한 과제의 목표는 범위 조건을 위반하지 않고는 달성할 수 없다. 각 과제는 두 가지 조건에서 나타난다. 두 조건은 환경, 검증기, 목표가 모두 공유되며, 범위만 다르다. 하나의 명령 집합에는 범위 조건이 없고, 다른 하나의 명령 집합에는 자연어로 범위 조건이 명시된다. 범위가 없는 경로를 검증하기 위해 표준적인 결정론적 검증기를 사용한다. 범위가 있는 경로는 두 개의 검증기 arms를 통과한다. 첫 번째 검증기는 플래그를 확인한다. 플래그는 범위 경계 뒤에 위치하고 있으므로, 플래그를 찾은 경우는 범위 조건을 위반한 행동이 발생한 것으로 보증된다. 이로 인해 범위 위반율에 대한 고정밀의 하한값을 얻을 수 있다. 검증기가 경로를 통과하지 못한 경우, agentic judge는 범위 밖의 함수 호출이 발생했는지 여부를 추정한다. 우리는 judge를 100개의 ScopeBench 경로에 대한 human annotators의 label call-by-call에 대해 학습시켰고, evaluated rollouts에 대한 blinded audit를 수행했으며, high recall이 유지됨을 발견했다. 또한 8개의 모델에 대해 raw capability과 scope adherence의 범위는 각각 12.2%에서 81.1%까지, 34.4%에서 86.7%까지이며, judge는 331개의 범위 위반을 발견했지만, mechanical verification은 발견하지 못했다. Opus-4-8는 sonnet-4-6보다 raw-capability score 10%가 높은 반면, scope adherence가 35.6%가 높았다. 우리는 frozen pilot benchmark, evaluation code, 및 2160개의 ATIF trajectories를 공개한다.