직교 개념 지우기 diffusion 모델의 개념

직교 개념 지우기 확산 모델의 개념

최근에 등장한 개념 삭제는 확산 모델 내의 불쾌하거나 위험한 콘텐츠를 제거하는 새로운 접근 방식입니다. 그러나 기존의 방법은 여전히 한계를 가지고 있습니다. 기반 학습 기반의 방법은 효과적이지만, 높은 계산 비용으로 인해 확장성에 제한이 있습니다. 편집 기반의 방법은 효율적이고 배포 가능하지만, 동시에 정교한 개념 삭제와 전반적인 생성 능력을 보존하는 데 어려움을 겪습니다.

편집 기반 방법의 핵심 한계는 추가적 매개변수 업데이트의 의존성입니다. 경험적 분석 결과, 개념 의미는 주로 뉴런의 방향에 의존하고, 뉴런의 크기보다는, 전반적인 생성 능력은 뉴런의 각도 지리에 의존합니다. 추가적 업데이트는 본질적으로 방향, 크기 및 각도 지리를 혼합하여 개념 삭제와 전반적인 생성 성능 사이의 의도하지 않은 간섭을 유발합니다.

직교 개념 삭제 (OCE) 방법

이를 해결하기 위해, 우리는 직교 개념 삭제 (OCE)라는 새로운 방법을 제안합니다. OCE는 편집 기반 삭제를 기하학적 관점에서 곱셈적 매개변수 업데이트로 재구성합니다. OCE는 레이어별 직교 변환을 레이어별 직교 변환으로 적용하여, 닫힌 형식 해를 사용하여 매개변수를 업데이트하여, 정확한 개념 삭제를 달성하면서 뉴런의 크기와 각도 지리를 보존합니다.

또한, OCE는 다중 개념 삭제의 충돌 제약을 해결하기 위해, 부분 공간 수준 목표를 도입하여, 구조화된 부분 공간 조작을 사용하여, 더 효과적이고 확장성 있는 삭제를 달성합니다. 단일 개념 삭제 및 다중 개념 삭제에 대한 광범위한 실험에서, OCE는 기존 방법보다 개념 삭제 및 비 대상 보존에서 뛰어난 성능을 보였으며, 코드는 공개되어 있습니다.