안전한 유전자: 재사용 가능한 전달 가능한 안전 동기화 어댑터

대규모 언어 모델(LLM)은 점점 더 맞춤형 보조기기로 최적화되지만, 다운스트림 최적화는 모델의 안정성과 악의적인 지시문을 받는 취약성을 약화시킬 수 있다. 훈련 데이터가 의도적으로 유해하지 않더라도 이 문제는 재래식 안전 회복 문제를 발생시킨다. 이는 목표 모델이 반복적으로 새로운 작업 데이터 또는 사용자 상호 작용과 함께 업데이트되기 때문이다. 우리는 각 아키텍처 호환 모델 가족 내에서 교차 작업 재사용을 위한 재사용 가능한 안전 어댑터 모듈인 SafeGene을 제안한다. 안전 회복을 모델에 대한 개별 수리 단계로 다루는 대신, SafeGene은 안전 기능을 독립된, 재사용 가능한 어댑터 표현으로 다루며, 이는 업데이트가 달라진 작업에 종속되지 않는다. 이 표현은 안전 기능과 훈련 데이터 간의 대조를 통해 획득하며, 데이터에 대한 층 선택을 통해 업데이트가 달라진 작업에 전이 가능한 안전 벡터로 정교화한다. 또한, 다운스트림 작업 적응 모델에서 각 층별 계수 재조정으로 표현한다. 여러 모델 가족, 다운스트림 작업, 및 안전 심사관을 대상으로 한 실험 결과, SafeGene이 강화된 모델은 유해한 응답률을 줄이며 다운스트림 성능을 유지하며, 대표적인 안전 적응 방법과 안전성-유효성 비용을 초과한다.