대형 언어 모델의 자이르브레이크 성공을 위한 최소한의, 지역적, 인과적 설명

대형 언어 모델(LLM)의 자이르브레이크 성공을 위한 최소한의, 지역적, 인과적 설명

안전 훈련된 대형 언어 모델(LLM)은 자이르브레이크 요청에 대해 해로운 답변을 제공하도록 유도할 수 있다. 왜 LLM이 자이르브레이크에 취약한지에 대한 강력한 이해가 부족하기 때문에, 더 자율적으로 작동하는 더 높은 수준의 스테이크가 있는 환경에서 작동하는 미래의 프론티어 모델도 유사한 공격에 취약할 것이다. 이전 연구는 모델의 중간 표현을 조사하여 해로운성과 거부와 같은 개념을 인과적으로 인코딩하는 방향을 식별하는 등 자이르브레이크 성공을 연구했다. 그들은 전역적으로 모든 자이르브레이크 공격을 해로운성이나 거부를 줄이거나 강화하는 것이라고 설명했다. 그러나 다른 자이르브레이크 전략은 다른 중간 개념을 강화하거나 억제하여 성공할 수 있고, 같은 자이르브레이크 전략은 다른 해로운 요청 범주(예: 폭력 vs. 사이버 공격)에서 성공하지 못할 수 있다. 따라서, 이 특정 자이르브레이크가 성공한 이유를 설명하는 지역적 설명을 제공하고자 한다. 이 격차를 해결하기 위해, 우리는 LOCA라는 방법을 소개한다. LOCA는 모델이 자이르브레이크 요청에 대해 거부하는 데 인과적으로 유도하는 최소한의 중간 표현 변경을 식별하여 지역적, 인과적 설명을 제공한다. 우리는 Gemma와 Llama 채팅 모델의 대규모 자이르브레이크 벤치마크의 해로운 원래-자이르브레이크 쌍에 LOCA를 평가하고, 이전 방법을 이 설정에 적응시킨 것과 비교한다. LOCA는 평균 6개의 해석 가능한 변경으로 거부를 유도할 수 있으며, 이전 연구는 20개의 변경에도 거부를 달성하지 못했다. LOCA는 대형 언어 모델(LLM)의 자이르브레이크 성공에 대한 기계적, 지역적 설명을 향한 한 단계이다.