LLM의 심리학적 측정 재평가: 자가 보고가 행동을 예측할 때 그리고 왜

대규모 언어 모델(LLM)의 행동 경향을 저렴한 심리학적 프로브로 예측하는 것은 안전한 배포를 위해 중요하지만, 자가 보고(self-report, SR)가 행동을 신뢰롭게 예측해야만 한다. 최근 연구에서 대규모 언어 모델의 SR-행동 분리 현상을 문서화했지만, 이에 근거한 것은 인간에서 특정 행동을 예측하는 데 약한 broaden 특성(broad personality traits)인 '5대 특성'에 기반을 둔 것이었다. 또한, 대화 세션의 고립과 약한 문맥 일치로 인해 대화 세션 내에서 언어 모델이 일관성을 보이는지 여부가 여전히 불명확했다. 이러한 문제를 해결하기 위해, 인간 행동을 더 잘 예측하는 '계획된 행동 이론(Theory of Planned Behavior, TPB)'을 '5대 특성' 대신에 사용했다. TPB은 특정 행동에 대한 의도에 중점을 두고 측정하며, 인간 행동을 예측하는 데 더 잘 성공한다. 4개의 행동 과제와 11개의 선도적인 대규모 언어 모델에 대한 실험을 수행했으며, 대화 세션의 문맥과 식별 정보를 다양하게 조정했다. 실험 결과, 자가 보고와 행동의 일관성이 존재하지만, 선택적이다. 1) 공유된 대화 세션 내에서, 계획된 행동 이론은 인간 수준의 일관성을 달성하지만, '5대 특성'은 그렇지 못했다. 2) 분리된 대화 세션 간에, 일관성은 임의의 프롬프트 바깥에 위치한 행동에만 존재하며, 그 행동이 강력한 문맥으로 인해 강요된 경우에는 일관성이 붕괴된다. 3) 대화 세션 간의 일관성을 높이는 '인격성' 프롬프트는 행동을 일치시키는 데에는 실패했다. 이러한 연구 결과는 coarse한 개인성 프레임워크인 '5대 특성'이 배포 행동을 테스트하기 위한 적절한 도구가 아니라는 것을 제시한다. 따라서, 더 특정한 작업과 행동에 맞춰서 설계된 도구가 필요하며, 이 도구의 효과를 다양한 작업과 문맥에서 평가해야 한다.