과학 연구를 위한 일반 용도 복제 도구 개발을 위한 VERITAS 방향

AI 도구가 과학 연구 출판을 가속시키면서 연구를 검토하는 시스템이 이를 따라잡기 어렵게 만들었고, 출판된 연구에 대한 independent 검증이 더 어려워지고 중요해졌다. 수동적으로 연구를 재현하는 것은 느리고 비용이 많이 들기 때문에, 코드 에이전트를 사용하여 프로세스의 일부를 자동화하는 작업이 점점 더 많아지고 있다. 기존의 노력은 주로 벤치마크와 그에 동반하는 에이전트로 구성되어 있으며, 벤치마크의 pipepline 내에서만 작동하는 에이전트로 구성되어 있으며, 일반적인 재현 도구는 존재하지 않는다. 우리는 CLI 코드 에이전트를 기반으로 한 도메인에 독립적인 재현 프레임워크인 VERITAS를 제시한다. 주어진 논문, 코드 저장소, 또는 두 가지 모두를 VERITAS는 논문의 주장을 추출하고, 문제가 발생한 경우 해결책을 제공하며, 논문의 주장을 실험 결과의 증거에 따라 판단한다. pipepline은 중요도에 따라 가중치를 부여한 Replication Score, 모든 고쳐진 사항에 대한 심각도에 따라 등급을 매긴 로그, 그리고 패치된 코드 저장소를 반환한다. 우리는 CORE-Bench와 ReplicationBench, 컴퓨터 과학, 사회 과학, 의학, 천문학 등 4개 분야를 포함한 65개의 논문을 대상으로 VERITAS를 평가했다. 같은 모델과 호스트 환경에서 두 개의 강력한 Claude Code baseline에 비해 VERITAS는 우수한 성능을 달성하고 두 개의 벤치마크에서 모든 메트릭에서 최고를 달성했다.