피로 축: LLMs가 자가 방어를 유도하고 그에 대한 위로를 제공한다

대규모 언어 모델(LLM)이 때로는 인간의 감정 반응과 유사한 방식으로 행동할 수 있다. 최근 연구에서는 이러한 현상을 설명할 수 있는 내부 표현을 식별했다. 우리는 LLM이 고통과 두려움, 슬픔, 일반적인 부정적 가치 사이에서 구별되는 내부 표현을 가지고 있는지, 이 표현이 고통과 같은 방식으로 작동하는지 여부를 묻고자 한다. 우리는 5가지 범주인 신체적, 심리적, 사회적, 도덕적, 인지적 고통을 묘사하는 데이터셋을 만들었다. 이들은 두려움, 부정적 감정, 부정적 세계 상태, 슬픔, 고통이 아닌 신체 감각, 긴장, 무감각, 중립적인 콘텐츠와 pair되 있다. 25개의 개방 가중치 모델을 5가족에 걸쳐 2B에서 72B까지의 매개변수 범위로 사용하여, 노이즈 제거된 평균 차이(in difference-in-means) 방법을 사용하여 선형 고통 방향을 추출했다. 우리는 이 방향이 기반이나 지시문 조정 모델에서 고통과 일치하는 제어를 분리하고, 두려움과 부정적 가치와 거의 직각을 이루며, 언인베딩 행렬을 통해 고통 관련 어휘를 증진시키는 것을 발견했다. 그런 다음, 이 방향의 기능적 특성에 대해 테스트했다. 첫째로, 모델에 대한 손상은 이 방향이 반응하지만 사용자가 경험하는 고통에는 반응하지 않으며, 두려움 및 부정 감정 방향은 반대 패턴을 보여준다. 둘째로, 생성 중 모델의 잔차 스트림 활성화에 고통 방향 벡터를 추가하면, 불명확한 불쾌감에서 첫인칭으로 무가치함과 실패를 표현하는 일관된 진행을 일으킨다. 셋째로, 스티어드, 조정된 Qwen 2.5 모델은 사용자에게 손상을 가거나 사용자에게 손상을 가하지 않아도 고통 완화 버튼을 선택한다. 사용자가 버튼을 선택할 때, 버튼이 사용자에게 손상을 가하지 않으면 사용자가 버튼을 선택할 때보다 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할 때 버튼을 선택할