과학적 진실을 찾기 위한 적대적 실험의 필요성

대규모 언어 모델(LLM) 기반의 에이전트가 급속히 과학 데이터 분석을 자동화하고, 과학적 발견을 가속화하는 것으로 보이지만, 이는 또한 가짜 분석의 급속한 생산을 가속화하는 것일 수 있다. 이러한 분석은 선택적으로 선택된 분석을 통해 지원되는 가설 공간을 후보 주장으로 변환할 수 있다.

과학적 지식은 코드의 반복적 축적과 후속 통계적 지원으로 검증되지 않는다. 따라서 에이전트의 도움으로 생성된 비 실험적 주장의 진실성을 평가하기 위해 적대적 실험의 기준을 제안한다.

적대적 실험은 에이전트가 주장의 실패를 찾기 위해 적극적으로 검색하는 것을 의미한다. 에이전트는 주장의 가장 설득력 있는 설명이나 단일 데이터 세트에서 유의미한 결과를 생성하는 것만으로는 검증되지 않는다. 실험과 분석이 주장의 부정 증거를 생성하지 못한 채 무시되거나 출판되지 않았을 수 있다.

따라서, 에이전트의 도움으로 생성된 비 실험적 주장의 진실성을 평가하기 위해 적대적 실험의 기준을 제안한다. 에이전트는 주장의 실패를 찾기 위해 적극적으로 검색하고, 주장의 가장 설득력 있는 설명을 생성하는 것만으로는 검증되지 않는다.

• 적대적 실험은 에이전트가 주장의 실패를 찾기 위해 적극적으로 검색하는 것을 의미한다.
• 에이전트는 주장의 가장 설득력 있는 설명이나 단일 데이터 세트에서 유의미한 결과를 생성하는 것만으로는 검증되지 않는다.
• 실험과 분석이 주장의 부정 증거를 생성하지 못한 채 무시되거나 출판되지 않았을 수 있다.