<b>GUI 에이전트의 안전을 위한 SeerGuard: 세계 모델 예측을 통한 GUI 에이전트의 안전 프레임워크</b>

SeerGuard: GUI 에이전트의 안전을 위한 프레임워크

모바일 GUI 에이전트는 복잡한 작업을 자동화하는 놀라운 능력을 보여주었지만, 단일 오류로 인한 irreversible 결과를 유발하는 중요한 안전 위험을 야기한다. 기존의 안전 메커니즘은 주로 반응적이고, 실행 전 위험을 평가하는 능력을 갖지 못한다. 본 논문에서는 SeerGuard라는 결과에 대한 안전 프레임워크를 제시하며, 실행 전 지시 단계별 검사와 동작 단계별 위험 평가를 통해 이러한 위험을 완화하고자 한다.

SeerGuard의 작동 방식

SeerGuard는 다음의 단계를 통해 작동한다.

• 동작 단계별 위험 평가: GUI 에이전트가 제안하는 동작을 현재 GUI 상태에서 분석하여, 예상되는 결과를 통해 위험을 식별한다.
• 세계 모델 예측: GUI 에이전트의 동작을 예측하기 위해, 세계 모델 예측을 사용한다.
• 지시 단계별 검사: GUI 에이전트의 지시를 검사하여, 위험한 지시를 식별한다.

세계 모델 예측

세계 모델 예측은 GUI 에이전트의 동작을 예측하기 위해 사용된다. 이를 위해, 다중 작업 학습을 사용하여 안전 확장 세계 모델(SAWM)을 구축한다.

• SAWM: GUI 에이전트의 동작을 예측하기 위해, semantic next-state prediction과 안전 위험 평가를 통합한다.

실험 결과

SeerGuard의 유효성을 검증하기 위해, Qwen3-VL-8B-Instruct에서 실험을 수행했다. 결과는 다음과 같다.

• 안전 유용성 점수: 0.191에서 0.596로 증가했다.
• 위험 비용 점수: 0.347에서 0.130으로 감소했다.

이러한 결과는 SeerGuard의 유효성을 검증한다. 또한, SAWM의 효과를 검증하기 위해, 지시 단계별 검사, 동작 위험 평가, 다음 상태 예측을 분석했다.