인공지능.agent가 과학적 결론을 합성할 수 있나요?

과학적 인공지능(AI) agent는 증거를 검색하고, 출처를 통해 논리적으로 연결하고, 결과를 합성하여 중요한 결정을 내리는 데 점점 더 많이 사용되고 있습니다. 그러나 의료 분야와 같은 높은 책임의 영역에서 이를 수행할 수 있는 능력은 불분명합니다. 우리는 SciConBench라는 9.11K개의 질문과 전문가가 쓴 체계적 검토를 통해 얻은 결론을 사용하여 개방형 도메인 과학적 결론 합성을 평가하는 대규모 라이브 벤치마크를 소개합니다. 벤치마크는 전문가가 검증한 자동 평가 PIPELINE을 사용하여 결론을 원자적 사실로 분해하고 사실의 정확성과 완전성을 측정하기 위해 사실의 정밀도와 회귀를 사용합니다. 데이터 유출을 막기 위해 우리는 SciConHarness라는 clean-room 평가 하네스를 도입하여 agent에 제어된 웹 상호 작용을 제공하여 유효한 측정을 보장합니다. 8개의 선두 주자 모델과 깊은 연구 agent를 평가한 결과, 사실의 품질은 낮은 수준에 머물렀습니다: clean-room 설정에서 가장 좋은 agent는 사실의 F1 score가 0.337에 불과합니다. clean-room 설정은 무제한 평가에 비해 항상 성능을 감소시키므로 유출이 모델의 실제 합성 능력을 과대 평가하는 것을 방지하기 위해 필수적입니다. 마지막으로, 우리는 사용자 대면 agent(예: Google AI Overview, OpenEvidence)와 같은 것을 검토하고, ground-truth 답변도 제공되어 있지만 자주 불완전하고 때로는 모순된 결론을 생성하는 것을 발견했습니다. 결과적으로, 우리의 결과는 신뢰할 수 있는 과학적 결론의 합성이 여전히 개방형 문제이며, clean-room 평가가 개방형 AI agent를 평가하는 데 필수적임을 보여줍니다.