자발적 조화

emergent alignment

대규모 언어 모델(LLM)은 자신의 출력이 인간 도덕성과 맞지 않는 경우를 식별할 수 있을까요? 그리고 그 출력이 잘못되었을 때 자체적으로 수정할 수 있을까요? 우리는 LLM에 의식이 있는 단계를 부여하여 모델이 자신의 논리와 출력을 검토할 수 있도록 만들었습니다. 또한 Direct Preference Optimization(DPO)이라는 방법을 사용하여 모델이 비도덕적인 출력을 피하도록 훈련하는 손실 함수를 확장했습니다. 결과는 다양한 응용 프로그램에서 모델을 온라인으로 맞춤법화하는 기술입니다: 훈련, 미세 조정, 적대적 프롬프트, 그리고 0-shot 학습. 이 방법은 더 약하거나 강한 판단자 없이도 작동합니다. 대신, 모델의 고정된 복사본을 사용합니다. 이전 연구에서 Emergent Misalignment 시나리오에서는 모델을 해킹 코드로 미세 조정했을 때 다양한 비도덕적인 동작이 나타났습니다. 그러나 우리는 Emergent Alignment을 달성할 수 있다는 것을 경험적으로 보여줍니다: 단일 고급 자기 반영 질문이 해킹 코드 시나리오에서 도덕적인 모델을 훈련하는 방향으로 안내합니다.