톤을 주의하라: tones는 LLM의 성능을 어떻게影響하는가?

소개

대규모 언어 모델(LLM)의 성능은 입력 문장의 스타일과 톤에 따라 달라질 수 있다. 이는 모델의 정확도와 신뢰성을 평가하는 데 중요한 요소가 된다. 본 연구에서는 objective 여러 선택지 문제에 대한 LLM 정확도의 차이를 톤 변형된 입력 문장에 의한 영향을 조사한다.

본 연구에서는 두 개의 데이터 세트를 사용한다: 50개의 문제를 포함한 다섯 가지 톤 변형의 데이터 세트와 570개의 문제를 포함한 57개의 주제를 가진 세븐 가지 톤 변형의 MMLU 서브셋. 이러한 데이터 세트를 통해 연구자들은 모델의 톤에 대한 민감성을 평가할 수 있다.

결과

본 연구에서는 네 가지 비용 효율적이고 인기 있는 대규모 언어 모델을 평가한다: ChatGPT-4o, ChatGPT-5-nano, Gemini 2.5 Flash, 그리고 Gemini 2.5 Flash Lite. 모델 간에 톤 효과는 체계적이지만 모델에 따라 매우 달라진다. 일부 모델은 작은 변화가 있지만 통계적으로 유의한 차이를 보인다, 반면 다른 모델은 톤 변형에 따라 정확도가 크게 변한다.

또한 본 연구에서는 주제별로 톤 민감성의 차이를 발견하고 톤 변형이 내부적인 추론 모드를 조정하는 프레임워크를 제안한다. 본 연구의 결과는 대규모 언어 모델의 배포에서 톤 변형에 대한 신뢰성을 가정하는 것은 위험하다는 것을 경고한다.