위험 회피 온라인 POMDP 계획: 즉시 비용의 CVaR에 대한 성과 보장

온라인 계획자들은 일반적으로 기대 누적 비용을 최적화하도록 설계되며, 이는 높은 비용 상태를 포함하는 믿음이 있을 때도 위험한 상태를 피할 수 있도록 합니다. 그러나 이러한 접근법은 유의미한 비중을 가진 높은 비용 상태를 포함하는 믿음이 있을 때 위험한 상태를 가릴 수 있습니다. 기존의 위험 회피 방법은 가치 함수에 정적 또는 동적 조건부 가치 위험을 적용하여 경로 단위의 위험을 포착합니다. 하지만 이러한 방법은 두 가지 약점을 공유합니다. 첫째, 믿음 내의 위험은 상태에 따라 비용의 기대치로 유지된 즉각 비용으로 남게 됩니다. 둘째, 가치 함수를 수정하면 기존의 기대치 기반 계획자를 재활용하는 대신 새로운 맞춤형 알고리즘을 필요로 합니다.

위험 회피 온라인 계획

위험 회피 온라인 계획을 위해 즉각 비용에 조건부 가치 위험을 믿음에 대한 각 단계에서 적용할 수 있습니다. 이 접근법은 현재 상태에 대한 단계 단위의 불확실성을 직접적으로 타겟팅할 수 있습니다. 표준 기대 누적 수익은 목표로 유지되므로, 결과 문제는 표준 구조를 가지고 있습니다. 따라서 기대치 기반 계획자가 위험에 민감한 것과 같은 방식으로, 기대치 계산만 수정하면 기존의 계획자를 위험에 민감하게 만들 수 있습니다. 위험 회피 온라인 계획의 이점은 정책 평가와 희소 샘플링에 대한 유한 시간 보증을 물려받는다는 것입니다. 또한, 위험 수준에 의존하지 않는 추정 오류와 함께, 우리의 중심 이론 결과로, 믿음 구조와 원래 계획 사이의 유한 시간 간격에 대한 간격을 증명할 수 있습니다. 이 두 결과를 결합하면, 실제 계획 가치에서 알고리즘 추정까지의 종단 간 보증을 얻을 수 있습니다. 위험 회피가 없는 경우, 이 형식을 표준 기대치 기반 계획으로 회복할 수 있습니다. 이는 기존의 계획자와 알고리즘을 활용하여 위험 회피를 위한 새로운 접근법을 개발할 수 있도록 합니다.