행동 기반 암시적 결정 요인에 기반한 만족도 인식하는 맵 에이전트의 성능 평가: MapSatisfyBench

대규모 언어 모델 에이전트가 점차적으로 지도 서비스에 통합되고 있습니다. 지도 서비스는 일상 생활 시나리오에 비해 전문적인 업무 환경에 통합되지 않기 때문에 사용자는 종종 사용자의 필요를 구체적으로 표현하지 못하고, 명시적으로 표현하지 못한 여러 가지 필요, 즉 암묵적 결정 요소들을 포함하는 미분명한 질의를 내놓습니다. 이러한 문제를 해결하는 가장 효과적인 방법은 사용자와의 대화에서 명확성을 요구하는 것입니다. 그러나 이러한 방법은 일상적인 상호작용에서 사용자에게 부담을 주고, 능숙한 에이전트는 사용자의 이러한 요소들을 미리 사용 가능한 정보에서 회복할 수 있어야 합니다. 그러나 이러한 능력을 평가하는 것은 어려운 문제입니다. 첫 번째 문제는 암묵적 결정 요소들이 평가될 수 있는지 여부를 결정하는 것입니다. 결정 요소는 사용자가 에이전트가 응답하기 전에 사용 가능한 정보에서 회복할 수 있어야 하며, 사용자가 에이전트의 응답을 수락하는 데 영향을 미쳐야 합니다. 두 번째로, 사용자의 만족도는 단일 참조 답변으로 충분히 대표할 수 없습니다. 따라서 만족도와 관련된 요소들을 객관적이고 측정 가능한 평가 목표로 변환하는 벤치마크가 필요합니다. 이러한 문제를 해결하기 위해, 우리는 사용자의 필요를 행동-chain 증거로 재구성하고 암묵적 결정 요소를 식별하고, 사용자의 질의 전에 사용 가능한 정보로 지지되는 요소만 유지하는 복원-식별-필터 프레임워크를 제안합니다. 이러한 방법론을 기반으로, 우리는 대규모, 실제-world의 익명화된 사용자 데이터에서 MapSatisfyBench를 구성하고, 다섯 가지 차원에서 그라운드 트루스의 레이블링을 제공하여, 만족도에 대한 지식이 있는 지도 에이전트의 완전한 chain 평가를 허용합니다. 실험 결과, 현재 에이전트는 명시적인 작업 완료에서 일반적으로 좋은 성능을 보이나, 암묵적 결정 요소들을 만족시키고, 만족도에 대한 지식이 있는 결정에 필요한 증거를 능동적으로 획득하는 데는 제한이 있습니다. 이러한 결과는 MapSatisfyBench를 만족도에 대한 지식이 있는 공간적 결정으로 평가를 이동하는 벤치마크로establish합니다.