AI 과학자 워크플로우 평가를 위한 프로세스 트레이스: OpenDiscoveryTrace

자율 AI 과학자들을 평가하는 현존하는 벤치마크들은 최종 출력물만 평가하고 그 출력물이 얻어진 추론 과정을 버린다. 이로 인해 과학적 방법론을 감사할 수 없으며, 실패 모드를 진단할 수 없으며, 체계적인 추론과 행운의 추측을 구별할 수 없다. 우리는 **OpenDiscoveryTrace**라는 공개 데이터셋을 제시하는데, 이 데이터셋은 558개의 완전한 AI 과학적 agent 경로를 캡처하여 모델이 추론하는 방식을 기록하는 것 뿐만 아니라 모델이 생성하는 것을 기록한다. 각 경로는 9개의 field를 가진 구조화된 step-by-step trace를 기록하는데, 이 trace에는 생각, 도구 호출, 관찰, 오류, 수정 트리거, 그리고 자체 신뢰도 등이 포함된다. 이 trace는 모델이 124개의 과학적 작업을 수행하는 중에 기록된다. 이 작업은 약물 발견, 재료 과학, 유전체학, 과학 문헌 분석 등이 포함된다. 이 데이터셋은 7개의 모델을 포함하는데, 3개의 선두 모델(GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro)와 4개의 공개 무게 모델(Qwen2.5-7B, Mistral-7B-v0.3, Phi-3.5-mini, Qwen2.5-1.5B) 그리고 60개의 라이브 리트리벌 변형 경로가 포함된다. 363개의 대규모 언어 모델(LLM)으로 평가된 경로에 대한 초기 분석 결과, 과정 trace는 출력물만 평가할 때는 보이지 않는 행동 차이를 드러낸다: 모든 3개의 선두 모델은 성공률이 비슷하다(84-89%)지만, Claude Opus 4.6은 GPT-5.4보다 30배 더 많은 오류를 발생시킨다(2.5 vs 0.08 per trajectory, p < 0.0001, Cliff's δ = 0.613). 또한 Claude Opus 4.6의 오류 프로파일은 GPT-5.4와 달리 양적으로 다르며, 66.7%의 도구 오용과 83.6%의 추론 오류가 포함된다. 우리는 5개의 벤치마크 작업을 정의하고, 로지스틱 회귀, 랜덤 포레스트, LSTM, Transformer 모델의 베이스라인을 정의한다. 데이터셋, trace schema, agent harness, 그리고 벤치마크 정의는 CC BY 4.0을 통해 공개되며, 과정을 기반으로 한 평가, 과학적 agent 감사, 그리고 AI 관리에 대한 연구를 지원한다.