전지적 사고 능력 평가: LLM에서 명시적 신념 모델링을 통해 이론적 사고 능력 평가

마인드 리딩(Theory of Mind, ToM)이라는 것은 다른 사람의 지식, 의도, 감정 등을 추측하는 능력을 의미하는데, 이 능력을 대규모 언어 모델(LLM)에서 평가하는 데에는 종점 질문에 대한 답변을 통해 평가한다. 이 방식은 모델이 실제로 강력한 논리를 위해 필요한 내재된 정신 상태 표현을 구성하고 있는지 여부를 가려주고, 다른 사람의 의견이 달라지는, 변화하는, 또는 잘못된 의견이 있는 상황에서 특히 그렇다. 이러한 연구의 boş간을 채우기 위해, 우리는 OmniToM이라는 새로운 벤치마크를 제시한다. 이 벤치마크는 사회적 논리를 위해 필요한 모든 관련 인물의 의견 구조를 명시적으로 모델링하기를 요구하며, 이러한 구조는 의견 제안: 다른 사람의 정신 상태에 대한 세계 또는 다른 사람에 대한 세계에 대한 진술의 최소한의 statement로 구성된다. 이 벤치마크는 895개의 스토리에서 구성된 ToMBench 스토리 코퍼스와 22,343개의 레이블된 의견 제안을 포함한 human-calibrated LLM-assisted annotation pipeline을 사용한다. OmniToM은 다양한 모델에서 zero-shot 평가를 통해, 현재의 LLM은 narrative facts를 actors의 의견과 공유된 정신 상태로 변환하는 데 필요한 지식 접근 및 표현적 결정에 대한 bottleneck을 가지고 있다는 것을 드러낸다.