구조 기반 정보를 활용한 리로팅 Levin Tree Search

Subgoal-based policy tree search는 복잡한 단일 에이전트 결정론적 문제를 해결하기 위해 효과적인 정책 Tree Search 알고리즘입니다. 그러나 이전의 알고리즘은 명시적인 subgoal 생성이 발생하여 성능 저하를 일으켰습니다. 본 논문에서는 $\sqrt{\text{LTS}}$ 알고리즘을 활용하여 learned rerooter를 설계하여 이러한 제한을 극복하고자 합니다.

learned rerooter 설계

learned rerooter는 policy를 사용하여 search를 가이드하는 알고리즘입니다. 그러나 이전의 알고리즘은 explicit subgoal generation이 발생하여 성능 저하를 일으켰습니다. 본 논문에서는 learned rerooter를 설계하여 이러한 제한을 극복하고자 합니다.

rerooter 설계 방법

• 클러스터링 기반 rerooter: clustering-based rerooter는 global state-space structure를 이용하여 rerooter를 설계합니다.
• 힙추정 기반 rerooter: heuristic-based rerooter는 learned cost-to-go estimates를 이용하여 rerooter를 설계합니다.
• гиб리드 rerooter: hybrid rerooter는 클러스터링 기반 rerooter와 힙추정 기반 rerooter를结合하여 설계합니다.

결과

본 논문에서 제안한 rerooting-based method는 subgoal-based policy tree search를 사용할 수 있는 복잡한 환경에서 성공적으로 적용되었으며, state-of-the-art online training efficiency를 달성했습니다.