자동 연구 시스템에서 진정한 자율 연구는 얼마나 멀리 있는가?

자동 연구 시스템의 현재 상태

자동 연구 시스템은 완전한 논문을 생성할 수 있지만, 그 실용성과 품질에 대한 문제가 여전히 남아 있다. 이러한 시스템의 자율성은 시스템의 자율성과 실제 연구의 질 사이의 격차를 가지고 있다. 자동 연구 시스템의 자율성을 높이기 위한 새로운 연구 아레나는 이러한 문제를 해결하기 위해 등장했다. 자동 연구 시스템은 연구 과정을 자동화하는 시스템으로, 연구 아이디어 생성, 실험, 논문 작성, 자신의 연구 결과를 개선하는 과정을 포함한다. 이러한 시스템은 오프-더-셸프 에이전트를 사용하여 연구 과정을 자동화한다. 예를 들어, Research Arena는 13개의 컴퓨터 과학의 시드와 3개의 시도 당 에이전트-도메인 쌍을 사용하여 117개의 에이전트 생성 논문을 생성했다.

자동 연구 시스템의 한계

생성된 논문은 세 가지 다른 관점에서 평가되었다. SAR(만찬스Cript-Only 리뷰어) 점수는 에이전트 생성 논문의 품질을 평가하는 데 사용되었다. 그러나, 수동 검토 결과, 이 그림은 과장된 그림이다. SAR 점수는 실제로 수락 결정과 잘 일치하지 않고, 실험적 내용을 검증하지 않고도 논문의 프레임을 가능하게 만든다. 아티팩트-어웨어 피어 리뷰어 점수는 급격히 떨어졌고, 수동 감사 결과, 실험적 엄격성은 에이전트에 따라 세 가지 실패 모드(fabricated results, underpowered experiments, plan/execution mismatch)로 분해되었다. 자동 연구 시스템의 자율성은 아직까지도 시스템의 자율성과 실제 연구의 질 사이의 격차를 가지고 있다. 117개의 에이전트 생성 논문 중 어느 하나도 상위 Tier의 장소의 수락 기준을 달성하지 못했다. 이 결과는 진정한 자율 연구에 대한 격차를 나타낸다. 따라서, 자동 연구 시스템의 자율성을 높이기 위한 새로운 연구 아레나가 필요하다. 이러한 아레나는 에이전트의 개발을 지원하고, 에이전트 생성 논문의 품질을 평가하는 데 사용될 수 있다. 또한, 자동 연구 시스템의 한계를 극복하기 위한 새로운 접근 방법이 필요하다. 대규모 언어 모델(LLM)과 같은 기술을 사용하여 에이전트 생성 논문의 품질을 향상시키고, 실제 연구의 질을 높이는 데 사용될 수 있다.