에이전트 4월 14일
현실 세계 모바일 에이전트 성능 평가를 위한 모빌로우: 트라제로리 파이즈합
현실 세계 모바일 에이전트의 성능을 평가하기 위해 개발된 모빌로우는, GUI 인터랙션을 통해 사용자가 할당한 작업을 자율적으로 완료할 수 있습니다. 그러나 기존의 메인스트림 평가 벤치마크인 안드로이드 월드(AnderoidWorld)는 시스템 수준의 안드로이드 에뮬레이터에 연결하여 시스템 리소스의 상태에 기반한 평가 신호를 제공합니다. 그러나 실제 세계 모바일 에이전트 시나리오에서는, 많은 외부 애플리케이션들이 시스템 수준의 API를 노출하지 않아, 작업이 성공했는지 여부를 판단할 수 없기 때문에, 벤치마크와 실제 사용사례 간에 불일치가 발생하고, 모델 성능을 정확하게 평가하는 것이 어려워집니다. 이러한 문제를 해결하기 위해, 우리는 모빌로우를 제안합니다. 모빌로우는 임의의 외부 애플리케이션으로부터 태스크를 가져와 평가 프레임워크를 구축합니다. 다중 트라제로리 파이즈합을 기반으로 하는 효율적인 그래프 생성 알고리즘을 사용하여, 모빌로우는 상태 공간을 효과적으로 압축하고, 동적 인터랙션을 지원하며, 실제 세계 외부 애플리케이션 시나리오와 더 잘 일치합니다. 모빌로우는 20개의 널리 사용되는 외부 애플리케이션과 240개의 다양한 실제 세계 태스크를 포함하며, 풍부한 평가 지표를 제공합니다. 모빌로우의 평가 결과는 안드로이드 월드(AnderoidWorld)와 비교하여, 인간 평가와 더 잘 일치하고, 실제 작업 부하하에서 GUI 기반 모델을 훈련하는 데 도움이 됩니다.