자연어 상황에서부터 강건하고 검증 가능한 결정을 위한 YUKTI: 불확실성 유형의 제안 IR, 가정 강건한 파레토 경계, 그리고 부러움 증명서

소개

대규모 언어 모델(LLM)과 같은 모델들은 단일 목표에 집중하여 숫자로 된 계획을 만드는 것을 주로 사용합니다. 그러나 이러한 모델들이 실질적인 예산, 노력, 또는 임상 주의를 할당하는 결정을 위한 신뢰도는 실패 모드입니다. 이는 모든 개체화된 숫자가 가정이며, 정확히 맞지 않는 경우에만 최적화된 계획이 약한 것이기 때문입니다. 이를 해결하기 위해 연구자들은 YUKTI라는 새로운 접근 방식을 제안했습니다.

YUKTI는 자동 형식화의 목표를 자연어 상황에서부터 강건하고 검증 가능한 결정을 위한 목표로 변경합니다. YUKTI의 표현은 타입-제안 그래프로 구성되어 있으며, 관계는 형태 전제, 계수 불확실성, 및 증명과 같은 정보를 포함합니다. 이를 통해 YUKTI는 각 단계를 정확한, 비선형, 또는 진화적 솔버로 라우팅하고, 단계를 분포적 파레토 전달로 연결할 수 있습니다.

YUKTI의 특징

YUKTI는 가정 강화 파레토 전계(YUKTI의 Assumption-Robust Pareto Frontiers, ARPF)를 도입하여 가정의 오류를 고려합니다. 또한, YUKTI는 가정의 오류를 고려하여 각 행동이 살아남는 빈도(rho)를 측정합니다. 연구자들은 rho가 결정을 위한 오류의 정확한 요인이라는 것을 증명하고, 가용성 추적 가능성을 추가하고, 데이터가 존재하지 않을 때 벤치마크-충실한 데이터 기반을 합성할 수 있는 SRJANA를 도입했습니다.

연구자들은 세 가지 방식으로 YUKTI의 유효성을 검증했습니다. 첫 번째로, 제어된 미스 스페시피케이션 하에서 robust 합의가 평균 및 꼬리 오류를 90% 이상 줄이는 것을 확인했습니다. 두 번째로, 규제된 결정을 위한 YUKTI를 사용하여 합법적인 행동 공간 내에서 최적화하고, 손실을 유로로 가격했습니다. 세 번째로, 실제 공개 데이터셋에서 YUKTI가 로그된 상태 quo보다 34% 더 나은 성능을 보이며, 단순한 점 플랜보다 4% 더 나은 성능을 보이는 것을 확인했습니다.