일반주의적 agent가 데이터 큐레이션을 자동화할 수 있나요?

현대 인공지능 개발에서 데이터를 준비하는 것은 가장 중요한데도 노동력이 많이 필요한 부분이다: 전문가들은 반복적으로 제안, 구현, 평가, 데이터 정책을 수정하는 과정을 거친다. 이러한 노이즈가 있는 벤치마크 feedback에 대해. 우리는 일반적인 코딩 agent가 이 데이터 준비 loop를 자동화할 수 있는지 여부를 묻는다. 우리는 *Curation-Bench*라는 agent-centric 벤치마크를 소개하는데, 모델, 훈련 레시피, 평가 스위트를 고정시키고 agent에게 command-line 접근을 허용하여 데이터를 검사, 정책을 구현, 훈련/평가 pipe-line에 제출, 수정할 수 있도록 한다. 시각-언어 인스트루션 튜닝 인스턴스에서, out-of-the-box agent는 10개의 반복에서 강한 데이터 선택 baseline을 달성한다. 그러나 경로 분석은 persistent *execution-research gap*를 드러낸다: agent들은 주로 지역 정책 변형을 튜닝하는 대신 새로운 정책 가족을 탐색하지 않는다, 심지어 전략 가이드와 논문 참조가 주어지더라도. 각 반복마다 이전 메서드를 인스턴스화하고 adapting하는 것을 요구하는 scaffold는 agent를 method-guided exploration로 옮긴다. scaffolded agent는 인간 설계 입력이 없이 데이터 선택 정책을 구성한다 - 강한 출판 baseline을 상회하는 데는 1/10의 데이터 비용만 필요하다. 결론적으로, 현재 agent는 데이터 준비 loop를 실행할 수 있지만, 신뢰할 수 있는 데이터 연구를 위해서는 scaffolded method adaptation이 아니라 open-ended prompting alone만이 충분하지 않다. 코드와 벤치마크는 open-sourced이다.