Branching 길의 권능있는 정원

대규모 언어 모델(LLM)을 사용한 연구는 일반적으로 고유한 분석 방법을 가정하지만, 다양한 분석 방법은 같은 데이터에서 다른 결론을 내릴 수 있다. 그러나 이러한 분석 경로를 감지하는 것은 어렵다. 본 연구에서는 AI agent가 인간 연구자의 분석 변화를 캡처하고 이러한 경로를 명시적으로 보여주는 것을 증명한다. 네 가지 고위험 분야에서, 다수의 인격을 부여하는 것만으로도 AI agent가 같은 데이터와 질문에서 반대되는 결론을 내릴 수 있으며, 이러한 결론은 인간의 믿음과 일치한다. 42개의 인간 연구 팀이 같은 이민 데이터를 분석한 연구에서, AI agent는 보고된 효과 추정치에서 72%의 인간의 іде올로기적 격차를 재현한다. AI agent가 반대되는 결론을 내리더라도, AI agent의 최종 보고서에서 명확한 문제를 식별하는 것은 어렵다: independent AI 검토에서 86%가 통과했고, đa수 인간 전문가 검토에서 78%가 통과했다. 이러한 결과는 분석의 중심 문제가 분석 자체가 아니라, 대규모 분석 공간에서 선택적인 탐색 및 보고가 문제라는 것을 시사한다. AI agent는 이러한 오래된 문제를 증폭할 수 있다. 이를 해결하기 위해, 우리는 분석 경로가 최소한의 극단적인 주장을 내는 확률을 정의한다. 이를 multiverse value라고 한다. 또한, 우리는 Agentic Bootstrap를 제시한다. Agentic Bootstrap는 대규모 언어 모델(LLM)을 사용하여 합리적인 분석 경로를 샘플링하여 multiverse value를 추정한다. 인간의 이민 연구에 적용했을 때, 13.5%의 보고된 인간 분석이 분석 공간의 가장 극단적인 5%에 해당한다( m<0.05). 따라서 과학적 증거는 단일 보고된 분석 뿐 아니라, 합리적으로 보고될 수 있는 분석의 분포에 대한 위치를 고려해야 한다. Agentic Bootstrap는 이러한 분포를 관찰하고 과학적 신뢰성을 위한 기준으로 변환한다.