신경과학 데이터에서 발견까지 pipeline에 AI agent를 평가하는 사례 연구

AI 도구는 특히 도메인 전문가가 구현 세부 사항보다는 정확성과 신뢰성을 중시하는 과학 연구 pipe line의 소프트웨어 개발 병목 현상을 자동화하는 데 hứ부한 길을 제공한다. 우리는 가구적 코드 agent의 비서적 연구를 fly optogenetics data-to-discovery pipe line에 대해 수행했다. 우리는 기존 benchmark보다 task가 훨씬 더 크고 dataset이 orders of magnitude 더 큰 evaluation criteria는 도메인 전문가 기준에 기반한 것을 사용했다. 우리는 agent가 여러 pipeline 단계를 해결할 수 있음을 보여주었는데, 이는 stage-level automation이 실현 가능한 것임을 나타낸다. agent의 코드 iteration을 분석한 결과, agent가 struggle하는 가장 큰 문제는 pre-defined criterion이 없을 때 iteration을 수행할 criterion을 정의해야 한다는 것이었다. 대신 agent는 현재 해결책을 평가하기 위해 과학적 판단을 사용해야 했다. 이는 key open challenge이다. 과학적 관행을 반영하여 agent는 중간 출력을 시각적으로 검토하기도 하지만, 그 결과를 해석하거나 적절하게 행동하지 못한다. 종단-종단 pipe line을 올바르게 해결하려면 모든 pipe line 단계에서 성공을 연결해야 하며, 이는 agent의 현재 능력으로는 불가능하다. 우리는 existing benchmark에서 대부분 absent한 challenge를 식별했는데, 그 중 하나가 컴퓨팅 자원 관리와 large held-out data collection에 대한 일반화이다. 마지막으로 우리는 open-ended 문제에 대한 과학적 task와 rigorous evaluation criteria를.construct하는 원칙을 distill했다.