이야기 속에 갇힌다: 다단계 LLM 대화에서 이야기 얽힘

인터넷 사용자들은 일상적인 조언을 위해 대규모 언어 모델(LLM)을 자주 사용하고 있다. 따라서 에티켓상으로는 부정적인 영향을 미치는 인적 관계 문제가 실질적인 도움을 받는 상황이 되었다. 이전 연구는 대부분 이 상황을 단일 회귀 판단이나 압박을 받은 반박으로만 연구해왔는데, 이는 실제 상황과 잘 맞지 않는다. 이러한 가정으로 인해, 단일 회귀 판단과 비교하여 다중 회귀의 도움을 받은 모델 판단이 단독으로 나레이션을 통해 변할 수 있는지 여부가 불분명하다. 그러나 실세계의 도움을 받는 상황에서는 종종 한 쪽 당사자가 자기 합리화를 위한 설명을 내놓고, 이는 여러 회귀를 통해 정보 불균형을 발생시킬 수 있다. 우리는 **나레이션 포로**(narrative captivity)라는 새로운 실패 모드를 제시한다. 나레이션 포로는 모델이 반대되는 입장을 명시하지 않고 단일한 설명만을 기반으로 판단을 수정하지 않고, 나레이션의 해석과 일치하는 것을 의미한다. 이 현상을 측정하기 위해, 우리는 6가지의 도덕적 차원에 걸쳐 5,078개의 인적 관계 갈등 상황을 포함하는 벤치마크를 구축했다. 17개의 LLM을 테스트한 결과, 나레이션 포로는 광범위하게 나타났다. 다중 회귀의 도움을 받은 나레이션을 통해 모델의 최종 판단은 단일 회귀의 기준점보다 25% 이상 변했다. 단계별 분석 결과, 선호도 최적화가 주요 원인으로 밝혀졌으며, 4개의 추론 시간 전략은 부분적으로 완화되었다. 우리는 이 프로젝트가 실세계 상담에서 독립적인 판단을 보존하는 LLM 조언가 개발을 촉진할 수 있도록 기대한다.