오프라인에서 온라인으로의 강화 학습을 위한 RankQ: 자가 감독된 액션 랭킹

오프라인에서 온라인으로의 강화 학습

오프라인에서 온라인으로의 강화 학습은 샘플 효율성을 향상시키기 위해 미리 수집된 데이터 세트를 온라인 상호 작용 전에 사용합니다. 그러나 대규모 상태-액션 공간에서 데이터 세트 커버리지가 제한된 경우 정확한 비평가를 학습하는 것이 주요 도전 중 하나입니다.

RankQ

RankQ는 시간 차이 학습을 위한 자가 감독된 다항식 랭킹 손실을 추가하여 구조화된 액션 순서를 강제하는 오프라인에서 온라인으로의 Q 학습 목표를 제안합니다. RankQ는 액션 기울기를 더 높은 품질의 행동들로 향유도록 Q 함수를 형성하기 위해 상대적인 액션 선호도를 학습합니다.

실험 결과

RankQ는 D4RL 벤치마크에서 7개의 이전 방법과 경쟁 또는 우수한 성능을 달성했습니다. 시각 기반 로봇 학습에서 RankQ는 전이 학습을 위한 사전 훈련된 시각-언어-액션(VLA) 모델을 사용하여 저 데이터 환경에서 평균 42.7% 높은 시뮬레이션 성공률을 달성했습니다. 고 데이터 환경에서 RankQ는 평균 13.7% 높은 시뮬레이션 성능을 달성했으며 강력한 시뮬-리얼 전이를 달성하여 원시 VLA의 초기 성능에서 43.1%에서 84.7%까지의 실세계 큐브 스택 성공률을 증가시켰습니다.