OLIVIA: 배포 시점의 결정 과정에 대한 행동 적응을 위한 온라인 학습

대규모 언어 모델(LLM) 에이전트는 논리적 추론, 행동 선택, 관찰을 번갈아가며 시퀀셜 결정 과제를 해결합니다. 배포 설정에서 에이전트가 반복적으로 관련된 다단계 과제를 처리할 때, 작은 행동 선택 오류가 시간 낭비, 지연, 신뢰도 감소로 누적될 수 있습니다. existing inference-time adaptation methods for LLM agents mainly rely on prompting or retrieval, which influence behavior indirectly through context manipulation.

OLIVIA는 ReAct-style 에이전트에 대한 배포 시점의 행동 적응 프레임워크입니다. OLIVIA는 LLM의 최종 행동 선택 계층을 후보 행동에 대한 컨텍스트 라인 벤딧으로 모델링하며, 동결된 히든 상태를 결정 컨텍스트로 사용합니다. 이 선택은 배포 시점에서 특히 적합하며, 행동 선택 인터페이스에서 직접 행동을 적응시키며, underlying reasoning process를 보존하며, action-level feedback에서 lightweight online updates를 제공합니다.

OLIVIA는 upper-confidence-bound exploration를 사용하여 policy를 sample-efficiently 향상시키며, minimal computational overhead를 가집니다. 우리는 OLIVIA를 네 가지 벤치마크에 적용하고, static ReAct와 prompt-based inference-time baseline보다 task performance를 향상시킨다는 것을 보여줍니다. 우리의 결과는 explicit online decision layers가 LLM 에이전트에 대한 purely prompt- or retrieval-based adaptation에 대한 효과적인 대안임을 나타냅니다.

• OLIVIA는 ReAct-style 에이전트에 대한 배포 시점의 행동 적응 프레임워크입니다.
• OLIVIA는 LLM의 최종 행동 선택 계층을 후보 행동에 대한 컨텍스트 라인 벤딧으로 모델링하며, 동결된 히든 상태를 결정 컨텍스트로 사용합니다.
• OLIVIA는 upper-confidence-bound exploration를 사용하여 policy를 sample-efficiently 향상시키며, minimal computational overhead를 가집니다.