과학적 난제를 다양한 규모에 대처하는 인공지능 agent의 성능 평가

인공지능 에이전트의 성능 평가

과학적 발견을 가속하기 위해 개발 중인 인공지능 에이전트의 실질적인 능력은 실제 연구 환경에서 아직도 잘 이해되지 않았다. 현재까지 인공지능 에이전트를 평가하기 위한 표준 벤치마크는 과학적 작업을 수행하는 데 필요한 복잡성, 다양성, 연장된 논리 추론을 거의 반영하지 못하고 있다. 이러한 이유로, 과학적 난제를 다양한 규모에 대처하는 인공지능 에이전트의 성능 평가가 필요하다.

과학적 과제에 대한 벤치마크는 연구를 정적이고 직접적인 문제로 축소시키며, 상호 작용 평가를 위한 제한적인 지원을 제공한다. 따라서, 실제 세계 과학 연구 시나리오를 기반으로 한 인공지능 에이전트를 평가하기 위한 체계적인 벤치마크가 필요하다.

SciAgentArena

이 연구에서 우리는 다분야의 새로운 요구를 바탕으로 실제 세계 과학 연구 시나리오를 기반으로 한 인공지능 에이전트를 평가하기 위한 체계적인 벤치마크인 SciAgentArena를 제시한다. SciAgentArena에는 약 200개의 과제가 포함되어 있으며, 단계별 검증을 통해 에이전트의 성능을 평가할 수 있다. 또한 상호 작용이 가능한 환경을 통해 다양한 인공지능 에이전트를 평가할 수 있다.

SciAgentArena를 사용하여, 우리는 현재 에이전트가 잘 정의된 데이터 분석 워크플로에 효과적으로 참여할 수 있으며, 과제 구조와 평가 기준이 명확할 때 효과적으로 참여할 수 있다. 그러나 에이전트의 성능은 과학적 맥락에 따라 불균등하다: 에이전트는 진정한 새로운 통찰을 생성하기 어렵고, 자율적 탐색을 유지하기 어렵고, 개방된 연구 질문에 대한 견고한 해결책을 제시하기 어렵다.