파라미터 동력학을 위험 점수 매기기로: LLM 미세 조정에서 샘플 수준의 안전성 열화에 대한 자세한 내용

From Parameter Dynamics to Risk Scoring : Quantifying Sample-Level Safety Degradation in LLM Fine-tuning

매우 취약한 대규모 언어 모델(LLM)의 안전성 대응은 수십만 개의 선호도 예시에서 학습한 안전 동작을 몇 개의 선호도 예시로만 조정하면 사라질 수 있다. 기존 연구들은 매개 변수와 가려진 상태를 조정 전과 후에 비교해 이 현상을 설명하려 하지만 매개 변수의 동적 진화를 간과한다. 이 논문에서는 매개 변수 동적을 분석하여 안전성 저하의 중요한 메커니즘을 발견했다. 선호도 예시로 조정하는 것일수록 매개 변수가 점차적으로 위험 동향 쪽으로 누적적으로 이동하여 모델의 안전성을 점진적으로 약화시킨다. 이 발견은 위험 동향 쪽으로 이동하는 예시가 더 큰 조정 위험을 가지는 것을 의미한다. 이 통찰을 바탕으로 샘플 수준의 안전성 저하 양적화(SQSD) 방법을 제안했다. SQSD는 매개 변수 업데이트가 위험과 안전 동향 사이의 차이의 프로젝션 차이를 측정하여 샘플의 연속적인 위험 점수를 계산한다. 다양한 모델과 데이터셋을 대상으로 한 광범위한 실험들은 SQSD가 샘플 수준의 조정 위험을 효과적으로 양적화하고 모델 아키텍처, 매개 변수 스케일, 매개 변수 효율적인 방법에 대한 강력한 전이성을 보인다는 것을 보여준다.