의식적 시빌 저항: 증거를 늘리지 않고 AI-agent를 여러 개 만들기

다중-agent 인공 지능 시스템은 agent를 생성하고 보고서를 합성함으로써 추론을 개선한다. 그러나 다른 agent는 다른 관찰이 아니다: 같은 증거에서부터 내려오는 것처럼 보이는 독립적인 보고서가 존재할 수 있고, 진정한 독립적인 증거도 거의 동일한 보고서를 생성할 수 있다. 우리는 이 문제를 epistemic Sybil 문제로 공식화한다. 보고서 Z는 보고서 R에 대한 증거 Sybil 확장인 경우 I(Θ; Z | R) = 0. 보고서만 합집합하는 아무리 좋은 aggregator도 일반적으로 복제와 independent corroboration을 구별할 수 없다: 동일한 보고서가 unobserved ancestry의 결과로 다른 posterior을 지지할 수 있다. Gaussian shared-root 모델은 공통의 조상이 완전한 중복성을 의미하지 않는다는 것을 보여준다. 반복적인 extraction은 source-level ceiling에 대한 정보를 더 추가하고, independent agent 사이에 correlated extraction errors를 유발하는 shared base 모델은 그 ceiling을 더 낮추게 한다. 우리는 synthetic evidentiary 문서에 대한 20,000 개 이상의 제어된 LLM-agent 보고서와 extraction 호출을 사용하여 이 예측을 테스트한다. 동일한 증거 root를 고정하고 보고서의 복제가 1에서 32로 증가하면 naive posterior coverage가 0.940에서 0.263으로 감소한다. 보고서의 수를 고정하고 증거 root의 복제가 1에서 16으로 증가하면 gap이 줄어들고 aggregator는 k = 16에서 통계적으로 구별되지 않는다. agent의 replicate extraction errors는 상관관계가 있다 (gamma_cal = 0.719, out-of-sample estimate)이고, correlated-extraction aggregator는 accordingly calibration을 복원한다. controlled manipulation은 representation similarity와 evidential ancestry를 분리한다. 이것은 report-space deduplication mechanism의 평균 추론된 클러스터 수를 1.425 (95% CI [1.363, 1.485])로 변경한다. 반면, 실제 조상의 4배의 변경은 0.040 ([-0.045, 0.120])로 변경한다. 따라서 collective inference는 agent나 report의 복제나 similarity를 추적하는 대신 evidential ancestry와 dependence를 추적해야 한다.