전략적 공격 선택이 주관적 인공지능 제어 평가에서 안전성을 현실적으로 감소시킨다.

공격자가 전략적으로 공격할 때를 선택하는 공격자는 무작위로 공격하는 공격자보다 훨씬 더 어려운 경우를 잡을 수 있다. AI 제어는 미래에 쓸 수 있는 AI agent를 신뢰할 수 없는 weaker monitor와 한정된 human audit 예산의 감독하에 배포하는 안전 프레임워크이다. 제어 평가는 이러한 프로토콜을 검증하기 위해 red-team 공격 정책을 blue-team monitor와 대결시킨다. 그러나 현재의 평가들은 공격자가 전략적으로 공격할 때를 선택하지 않는다고 가정한다. 우리는 미래에 쓸 수 있는 agent 환경에서 공격 선택의 능력, attack selection을 연구하기 위해 공격 결정을 start policy와 stop policy로 분리한다. 공격자가 공격할 때를 결정하는 start policy와 공격자가 진행 중인 공격을 중단할 때를 결정하는 stop policy를 구축했다. BashArena와 LinuxArena 두 가지 agent 환경에서, 우리는 두 정책이 측정된 empirical 안전을 크게 낮추었다. 그러나 attack capability는 바뀌지 않았다. 1%의 audit 예산에서, 우리의 start policy는 BashArena와 LinuxArena에서 각각 20pp의 안전을 낮추고, 우리의 stop policy는 BashArena와 LinuxArena에서 각각 20pp와 28pp의 안전을 낮추었다. 이러한 안전 감소는 공격 선택의 효과의 upper bound로 해석되어야 한다. 따라서 existing control evaluations은 selective 공격자에 대해 overly optimistically 안전을 평가할 수 있다. 따라서 future evaluations, system cards, safety cases는 attack selection을 유도하여 더 현실적인 안전을 평가해야 한다.