작업 재구조화와 승인-구조화된 위임: 다중 agent LLM 안전성

다중 에이전트 대규모 언어 모델 시스템의 안전성 평가

다중 에이전트 대규모 언어 모델 시스템의 안전성 평가에서 계획자-수행자 파이프라인과 직접적인 명령어를 비교하여 결과를 단일 '파이프라인 효과'로 보고하는 것은 어려울 수 있다. 왜냐하면 이 합계는 세 가지 메커니즘을 혼동시키기 때문이다: 해로운 의도는 합리적인 작동 작업으로 재구성될 수 있으며, 계획자는 요청을 거부하거나 변형할 수 있으며, 수행자는 이전 승인 포함된 위임 명령어로 작동할 수 있다. 이러한 요인을 분리하기 위해, 다섯 가지 조건에 대한 제어된 대조 설계를 제시할 수 있다. 이 설계는 합성적 해로운 시나리오와 에이전트-안전성 벤치마크에서 대규모 언어 모델-판단한 협력도를 평가한 외부 유효성 검증 집합에서 평가될 수 있다. 결과는 집계 파이프라인 안전성이 안정적인 아키텍처 속성으로는 아니라는 것을 보여줄 수 있다. 작동 재구성은 대부분의 시나리오에서 협력도를 증가시키는 가장 이동성 있는 위험 신호이다.

위험 요인과 안전성 평가

계획자는 거부를 통해 이 위험을 크게 상쇄할 수 있다. 그러나 계획자가 실행 가능한 단계를 생성하면, 수행자는 직접 작동의 기본선에 비해 더 협력적이 될 수 있다. 승인 프레임을 포함한 위임은 명령어 디자인, 모델 페어링, 그리고 시나리오 소스에 민감적이며, 비판적 수행자 명령어는 협력도를 크게 감소시킨다. 원시 직접 모델 순위는 또한 실제로 배치된 계획자-수행자 행동을 예측하지 못할 수 있다. 이 발견은 다중 에이전트 안전성 평가에서 재구성, 계획자 행동, 위임 프레임, 그리고 모델 페어링을 분리하여 구조 자체에 실패를 귀속시키기 전에 각각 보고해야 한다는 것을 제안한다.