LLM용 에이전트를 위한 저-latENCY 위조 탐지 레이어

LLM-powered 에이전트의 위조 공격

대규모 언어 모델(LLM)-powered 에이전트는 자율적인 작업 수행, 도구 사용 및 단계별 추론에 강한 능력을 보이지만, 그 증가하는 자율성은 새로운 공격 표면을 제공한다. 에이전트의 행동을 조작하기 위한 공격은 직접적인 프롬프트 주입, 간접적인 콘텐츠 공격 및 다중 턴 확장 전략을 포함한다.

현재의 방어 전략

현재의 방어 전략은 프롬프트 수준의 필터링 및 규칙 기반 경계를 중심으로 한다. 그러나 이러한 방어 전략은 위험이 상호 작용 시퀀스에 걸쳐 점진적으로 발생할 때 종종 부족하다.

저-latENCY 위조 탐지 레이어

이 연구에서는 LLM-powered 에이전트의 위조 상호 작용 패턴을 탐지하기 위한 저-latENCY 위조 탐지 레이어를 제안한다. 이 레이어는 프롬프트 특성, 세션 동적, 도구 사용, 실행 컨텍스트 및 위조에 영감을 받은 신호를 포함한 구조화된 런타임 특성을 사용하여 위험을 모델링한다.

실험 및 결과

실험을 위해 12,000 개의 다중 턴 에이전트 상호 작용을 생성한 합성 코퍼스를 생성하고, 42 개의 구조화된 특성과 XGBoost 분류기를 사용하여 위조 탐지 레이어 crispness를 평가했다. 위조 탐지 레이어 crispness는 LLM-based 위조 탐지기보다 9 배 이상 빠르다.

결론

이 연구의 결과는 상호 작용 수준의 행동 탐지기가 LLM-powered 에이전트의 배포 시점 방어의 핵심 구성 요소가 될 수 있음을 시사한다.