LLM이 생성한 가상 실험실 계획에 대한 절차 지식의 불확실성을 관리하는 방법

교육용 시뮬레이션 실험실은 실제 실험실 시설에 한계가 있는 학생들에게 실험 훈련을 더 확장적이고 적응적이며 접근 가능하게 할 수 있습니다. 그러나 새로운 시뮬레이션 실험 절차를 작성하는 것은 여전히 비용이 많이 들 수 있습니다: 교육자들은 새로운 장비를 설명해야 하며, 장치와 재료 간의 상호작용을 정의해야 하며, virtu-al 환경 내에서 실행하거나 평가할 수 있는 유효한 절차 흐름을 지정해야 합니다. 대규모 언어 모델(LLM)은 이 작성 과정을 도와줄 수 있습니다. LLM은 세부적인 실험 절차를 생성할 수 있지만, 그 출력은 직접 실행할 수 있는 계획으로 간주해서는 안 됩니다. LLM은 필요한 행동을 생략할 수 있으며, 단계를 올바른 순서로 배열하지 못하거나, 논리적으로 잘못된 또는 실험실 장비와 호환되지 않는 지침을 생성할 수 있습니다. 이 논문은 virtu-al 실험실 계획을 위한 LLM 생성된 절차 지식에 대한 불확실성을 관리하는 데 사용되는 프로토 타입 프레임워크를 제시합니다. 이 프레임워크의 목표는 structured domain representations과 uncertain LLM-generated state-transition samples를 사용하여 후보 절차 규칙을 추출하고, 그들을 explicit 및 inspectable constraints로 변환하고, 그들을 사용하여 불확실한 절차 단계를 수정하는 것입니다. 동기부가 되는 도메인은 교육용 virtu-al 실험실에 관한 것입니다. 그러나 더 일반적인 문제가 있습니다: structured interactive environment에서 action planning을 위한 uncertain procedural knowledge를 관리하는 것입니다. 우리는 실험실 장치, 수건, 도구 및 물질 전송 액션을 포함하는 virtu-al 실험실 도메인에서 이 접근 방식을 minh họa합니다.