자동화된 신경심볼릭 전이: LANTERN - 경험 게이트가 있는 추론 네트워크와 함께 학습된 언어 모델을 활용한 신경심볼릭 전이

LANTERN: 다중 소스 신경심볼릭 전이

LANTERN은 다중 소스 신경심볼릭 전이를 위한 통합 프레임워크입니다. LANTERN은 3개의 구성 요소로 구성되며, 자연어 태스크 설명을 사용하여 대규모 언어 모델(LLM)으로 생성된 결정적 유한 상태 기계, 다중 소스 정책의 가중치를 이용하여 교차 태스크 유사성을 기반으로 하는 의미적 임베딩 기반 집적, 시간차 오류와 의미적 불확실성을 기반으로 하는 적응적인 교사-학생 게이트를 포함합니다.

구성 요소

• 대규모 언어 모델(LLM)으로 생성된 결정적 유한 상태 기계: 자연어 태스크 설명을 사용하여 결정적 유한 상태 기계를 생성하여 태스크 아우토마타를 자동으로 생성합니다.
• 다중 소스 정책의 가중치: 교차 태스크 유사성을 기반으로 하는 의미적 임베딩 기반 집적을 사용하여 다중 소스 정책의 가중치를 계산합니다.
• 적응적인 교사-학생 게이트: 시간차 오류와 의미적 불확실성을 기반으로 하는 적응적인 교사-학생 게이트를 사용하여 교사-학생 모델을 적응적으로 학습합니다.

결과

LANTERN은 다양한 도메인인 자원 관리, 탐색, 제어에서 기존 베이스라인보다 40-60%의 샘플 효율성을 향상시키며, 잘못된 소스를 인식하는 데 강건합니다. 이러한 결과는 다중 소스, 적응적으로 가중치가 부여된 신경심볼릭 전이가 심볼릭 RL 환경에서 확장성과 강건성을 향상시킬 수 있음을 보여줍니다.