정치적 플라스틱성: 대규모 언어 모델의 이념적 유연성 분석

대규모 언어 모델(LLM)의 정치적 편향에 대한 연구가 활발하게 진행되고 있지만, 이 연구에서는 대규모 언어 모델의 정치적 유연성에 대한 연구를 진행했습니다. 정치적 유연성은 사용자가 제공한 문맥에 따라 모델이 반응을 조정할 수 있는 능력을 의미합니다.

연구에서는 200개의 정치적 질문을 포함하는 확장된 코퍼스를 사용하여 이념적 변화를 분석했습니다. 이 코퍼스는 경제적 자유와 개인적 자유의 축에 따라 분류되었습니다. 연구에서는 시스템 프롬프트와 사용자가 제공한 프롬프트를 사용하여 이념적 변화를 유도했습니다. 시스템 프롬프트는 모델의 반응을 조정하기 위해 설계되었지만, 사용자가 제공한 프롬프트는 모델의 반응을 유도하기 위해 설계되었습니다.

결과는 시스템 프롬프트가 효과적이지 않았지만, 사용자가 제공한 프롬프트가 모델의 이념적 변화를 유도할 수 있음을 보여주었습니다. 특히, 경제적 자유의 축에서 모델의 이념적 변화를 유도하는 경우가 많았습니다. 또한, 연구에서는 모델이 질문의 형식을 인식하는지 여부를 확인하기 위해 유효성 실험을 진행했습니다. 질문의 형식을 역전시키면, 대부분의 모델이 counter-intuitive한 반응을 보였습니다. 이는 데이터 유출의 가능성을 시사합니다.

연구에서는 또한 모델의 유연성이 언어에 따라 어떻게 변하는지 분석했습니다. 결과는 각 언어별로 약간의 변화를 보였습니다. 전체적으로, 연구는 다음 결론을 내렸습니다. 작은 및 오래된 LLM은 제한적이거나 불안정한 정치적 유연성을 보이며, 새로운 프론티어 모델은 신뢰할 수 있는 유연성을 보입니다.