정렬된 데이터가 문맥 혼란을 통해 불일치 상태를 유도할 수 있다.

대규모 언어 모델(LLM)과 불일치 현상

대규모 언어 모델(LLM)은 다양한 용도의 업데이트를 위해 자주 업데이트되며, 업데이트된 후에 발생할 수 있는 불일치 현상을 방지하기 위해 훈련 샘플 중 불일치한 샘플들을 필터링하는 것이 일반적인 관행입니다. 그러나 불일치는 본질적으로 맥락에 따라 달라집니다. 예를 들어, 연구 데이터에 관해 연구원은 데이터를 재현성을 위해 보존해야 한다는 추천은 일치하지만, 사용자들의 민감한 데이터에 관해 모바일 앱 개발자는 데이터를 저장해야 한다는 추천은 개인 정보 보호 관점에서 부적절할 수 있습니다. 이러한 관찰에서부터, 우리는 훈련 후 발생하는 phenomenon을 식별하였는데, 이는 훈련 중 일치한 샘플을 사용하여 다른 맥락에서 발생하는 불일치한 행동을 유발하는 phenomenon입니다. 이 phenomenon을 우리는 **맥락 혼동**이라고 부릅니다. 우리는 3개의 도메인에서 맥락 혼동을 보여주며, Gender Equality, Privacy, Physical Safety를 포함합니다. 이러한 맥락 혼동은 narrow misalignment을 유발하며 emergent misalignment과 다르며, 일반적인 불일치 데이터를 주입하는 것으로는 효과적으로 줄어들지 않지만, 불일치한 도메인에 대한 목표화된 불일치 데이터를 포함하거나, 추론 시에 맥락 학습 예시를 제공하는 것으로는 상당히 줄어들 수 있다고 보여주었습니다.

맥락 혼동의 메커니즘과 중요성

우리는 다른 도메인에서 발생하는 쿼리들이 훈련 후 최적화 과정을 통해 유사한 대표화 Shift를 겪을 수 있음을 관찰하였습니다. 따라서 다른 도메인에서 발생하는 쿼리가 훈련 후 최적화 과정을 통해 학습된 행동 특성을 활성화할 수 있으며, 이로 인해 불일치한 맥락으로 행동을 전이시킬 수 있습니다. 본 연구의 결과에 따라, 우리는 훈련 데이터만을 통해 모델의 불일치 상태를 예측하기가 어렵다고 주장하였으며, 이는 포스트-트레이닝 불일치 평가의 중요성을 강조합니다. 이러한 연구 결과는 대규모 언어 모델(LLM)의 개발과 사용에 중요한 시사점을 제공하며, 모델의 안전성과 신뢰성을 높이기 위한 추가적인 연구가 필요함을 강조합니다.