항구 어댑터와 항구 인덱스: 대규모 행위적 평가를 위한 인프라와 커스텀 메타 데이터 세트

연구자들은 최근 등장한 에이전트 평가 지표를 평가하기 위해 어려움을 겪고 있다. 이는 종종 복잡한 환경과 에이전트 통합이 필요하기 때문이다. 우리는 에이전트 평가 지표를 평가하기 위한 통합 평가 인프라인 하버 어댑터(harbor adapters)를 소개한다. 우리의 연구는 세 가지 기여를 한다. 첫 번째로, 우리는 80개 이상의 지표를 평가하기 위한 에이전트에 대한 벤치마크 어댑터(benchmark adapters)를 개발하고, 엄격한 코드 검토와 동등 실험을 통해 그들의 유효성을 검증한다. 두 번째로, 우리는 8개의 모델을 54개의 지표에서 평가하고, 그 중 3개의 모델은 원시 호스팅(native harnessing)을 사용하고 나머지 5개의 모델은 터미누스-2(terminus-2)를 사용한다. 이는 이전에 불가능했던 에이전트 능력과 실패 모드의 더 광범위한 분석을 가능하게 한다. 세 번째로, 우리는 하버 인덱스(harbor-index)를 소개한다. 이는 82개의 어려운, 다양한, 고품질의 작업을 포함한 29개의 지표로 구성된 고급 인덱스이다. 하버 인덱스는 어댑터 스위트를 통해 난이도 필터링, AI 및 인간 검토, 검토-수정 루프를 통해 정제되었다. 하버 인덱스는 대규모 에이전트 평가의 어려움과 폭 넓음을 유지하면서도 비용이 들지 않는다. 평가된 모델-호스팅 구성 중 30% 미만의 성공률을 기록하며, 가장 강력한 모델(GPT-5.5 with Codex)은 28.0%의 성공률을 기록한다. 우리는 어댑터, 평가 결과, 상세 분석, 하버 인덱스를 포함한 오픈 소스 아티팩트를 공개하여 언어 모델 에이전트의 더 신뢰할 수 있는 및 포괄적인 평가를 지원한다.