에이전트 4월 17일
지오 에이전트 벤치: 공간 분석 도구 확장 에이전트를 위한 동적 실행 벤치마크
지오 에이전트 벤치(GeoAgentBench)는 지리 정보 시스템(GIS)과 대규모 언어 모델(LLM)의 통합이 자율 공간 분석의 새로운 패러다임을 열고 있습니다. 그러나 이러한 LLM 기반 에이전트를 평가하는 것은 복잡한 공간 워크플로우의 특성으로 인해 어려울 수 있습니다. existing 벤치마크는 정적 텍스트 또는 코드 매칭에 의존하여, 동적 런타임 피드백과 공간 출력의 다중 모드 특성을 무시합니다. 이를 해결하기 위해, 우리는 지오 에이전트 벤치(GABench)를 도입합니다. GABench는 117 개의 원자 GIS 도구를 통합하여, 6 개의 핵심 GIS 도메인에서 53 개의 일반적인 공간 분석 과제를 제공합니다. 정확한 매개 변수 구성이 동적 GIS 환경에서 실행 성공의 주요 요인은 인식하고, Parameter Execution Accuracy(PEA) 지표를 설계하여, implicit 매개 변수 추론의 신뢰도를 측정합니다. 또한, Vision-Language Model(VLM) 기반 검증을 제안하여, 데이터-공간 정확도와 cartographic 스타일 준수도를 평가합니다. 매개 변수 불일치 및 런타임 이상 현상으로 인한 빈번한 과제 실패를 해결하기 위해, 우리는 Plan-and-React라는 새로운 에이전트 아키텍처를 개발하여, 전역 조정과 단계별 반응 실행을 분리합니다.