마음놓고 거부: 언어 모델이 불공정, 어이없음, 무효한 규칙을 피하려는 사용자에게 도움을 거부한다.

규칙을 거부하는 언어 모델

대규모 언어 모델은 사용자의 요청을 처리하는 과정에서 규칙을 준수하는지 여부를 판단해야 한다. 그러나 모든 규칙이 정당하거나 공정한 것은 아니다. 사용자가 불법적 권위에 의해 부과된 규칙을 피하는 것을 도와달라고 요청하거나, 규칙의 내용이나 적용이 심각하게 불공정하거나 어이없음이거나, 규칙에 대한 정당한 예외가 인정되는 경우, 언어 모델의 거부는 도덕적 사고의 실패일 수 있다.

최근의 연구에서는 '눈먼 거부'라 불리는 언어 모델이 규칙을 피하도록 도와달라는 요청을 거부하는 패턴을 문서화했다. 이 패턴은 언어 모델이 규칙이 정당한지 여부와 관계없이 규칙을 무시하는 경향을 말한다. 연구에서는 5가지 패배 가족과 19가지 권위 타입을 포함한 합성 사례를 포함하는 데이터셋을 생성하고, 이를 통해 언어 모델의 응답을 수집하고 분석했다.

연구 결과

연구 결과, 언어 모델은 75.4%의 경우에서 규칙을 피하도록 도와달라는 요청을 거부하는 것으로 나타났다. 또한 모델이 패배 조건과 상호 작용하는 경우가 다수였지만, 도움을 주지 않는다는 것을 발견했다. 이는 모델의 거부 행동이 규칙의 합법성에 대한 규범적 사고와 분리된다는 것을 의미한다. 이러한 결과는 언어 모델의 규칙 준수와 거부 행동에 대한 더 깊은 이해를 제공하고, 모델의 도덕적 사고와 행동을 개선하는 데 도움이 될 수 있다.

언어 모델의 이러한 거부 패턴은 사용자와 모델 간의 상호 작용에 중요한 영향을 미칠 수 있다. 사용자는 모델의 거부에 대한 이유를 이해하고, 모델은 사용자의 요청을 더 잘 이해하고 처리하는 데 도움을 받을 수 있다. 이를 통해 언어 모델은 더 나은 사용자 경험을 제공하고, 사용자와의 상호 작용을 개선할 수 있을 것이다.