Verifier가이드 액션 선택: 인공 에이전트의 신뢰성 향상

Verifier-Guided Action Selection(VeGAS)

대규모 언어 모델(LLM) 기반 embodied 에이전트는 강력한 시각-언어 지식과 chain-of-thought(CoT) 사고를 통해 복잡한 실세계적인 과제를 해결하는 데 많은 진전을 이루었습니다. 그러나 분포 외 사례에 직면했을 때 여전히 약점을 보입니다. 이러한 문제를 해결하기 위해, 우리는 Verifier-Guided Action Selection(VeGAS)이라는 테스트 시점 프레임워크를 제안합니다. VeGAS는 inference 시점에서, 대규모 언어 모델(LLM) 기반 embodied 에이전트의 신뢰 dönemde 향상을 도모합니다.

• VeGAS는 candidate action의 ensemble을 샘플링하고, generative verifier를 사용하여 가장 신뢰할 수 있는 선택을 식별합니다.
• VeGAS는 underlying policy를 수정하지 않고, inference 시점에서만 수행됩니다.

VeGAS의 성능 향상

VeGAS는 embodied reasoning benchmark에서 consistently한 성능 향상을 이루었습니다. Habitat와 ALFRED 환경에서, VeGAS는 multi-object, long-horizon task에서 CoT baseline보다 36%의 상대적 성능 향상을 달성했습니다.

VeGAS의 강점

• VeGAS는 embodied 에이전트의 신뢰성을 향상시키는 데 도움이 됩니다.
• VeGAS는 대규모 언어 모델(LLM) 기반 embodied 에이전트의 강점을 강화합니다.
• VeGAS는 분포 외 사례에 대한 고유의 검증 단계를 제공합니다.