인공지능이 인공지능 과학자를 평가할 수 있나요? 자율 연구 생성 시스템을 위한 자동 멀티 모델 검토를 위한 벤치마킹 연구

인공지능이 과학 연구를 자율적으로 수행할 수 있다면 과학적 발견을 크게 촉진할 수 있습니다. 그러나 인공지능이 생성한 논문의 질을 평가하고 비교하는 것은 여전히 해결해야 할 문제입니다. 이를 위해 자동화된 전문가 평가 시스템을 사용하는 성능 비교 프로토콜을 제안하고 구현하였습니다. 이 시스템은 과학 논문을 네 가지 핵심 요소(새로움, 과학적 엄밀성, 명료성, 중요성)에서 평가합니다.

성능 비교 연구 결과

네 가지 선도적인 인공지능 과학자 프레임워크를 평가하였습니다: Sakana AI, CycleResearcher, Data-to-Paper. 각 프레임워크는 상업적 자율 인공지능 과학자 회사에서 발행한 15개의 연구 제안을 사용하여 일관된 세트에서 실행되었으며, 총 60개의 논문을 생성하였습니다. 세 개의 독립적인 대규모 언어 모델 리뷰어를 사용하여 평가한 결과, FARS 성능 비교 논문은 모든 경쟁 프레임워크보다 현저히 우수합니다. FARS 점수는 Gemini와 Claude 평가에서 2배 이상 높은 점수를 기록합니다. 이 연구의 결과는 인공지능이 인공지능 과학자를 평가할 수 있는 가능성을 보여줍니다. 자동화된 전문가 평가 시스템을 사용하여 인공지능이 생성한 논문의 질을 평가하고 비교할 수 있습니다. 이는 인공지능 과학 연구의 발전에 중요한 의미를 가집니다. 또한, 이 연구는 인공지능 과학자 프레임워크의 개발과 평가를 위한 새로운 기준을 제시합니다. 대규모 언어 모델 리뷰어를 사용하여 평가하는 방식은 인공지능 과학 연구의 객관적 평가를 위한 새로운 방법입니다.