BayesBench: 다중 회전 증거 축적 상황에서 LLM 믿음 경로 평가

대규모 언어 모델(LLMs)은 일반적으로 다중 회전 대화에서 사용되는데, 각 회전은 새로운 증거를 제공하여 환경에 대한 지식 불확실성을 줄여야 한다. 합리적으로 행동하려면 그러한 환경을 지배하는 미관찰된 양을 추론하고 증거가 누적될 때 그에 대한 신념을 업데이트해야 한다. 그러나 대부분의 평가에서는 단일 회전 형식에서 모델의 마지막 회전 답변만 점수를 매기고 이러한 과정을 조사하지 않는다. 우리는 다중 회전 설정에서 대규모 언어 모델(LLMs)의 신념 업데이트가 합리적인 Bayes-Bayes 추론기와 얼마나 가깝게 일치하는지 조사하고, BayesBench라는 시뮬레이션 환경을 도입하여 세 가지 점진적으로 복잡한 작업을 통해 이를 조사한다. (i) Bayes-Bayes 추정, 모델은 순차적 증거에서 알려지지 않은 매개변수를 추론한다. (ii) Bayes-Bayes 예측, 모델은 추론한 신념에 대해 잠재 변수에 대한 결과 예측을 변환한다. (iii) 잠재 프레임 Bayes-Bayes 예측, 사용자 프레임을 통해 관찰을 필터링하고, 잠재 상태와 프레임에 대한 공동 추론이 필요하다. 7개의 대규모 언어 모델(3B--70B)에서 스케일링은 잠재 추론과 증거 축적을 향상시켜, Bayes-Bayes 후방 분포와의 업데이트가 가끔 일치하지만, 이러한 이점이 종단 예측에 신뢰할 수 있게 전달되지 않는다.