의료 AI 시스템의 사용자 수락 위험 예측: 배포 중심 평가

의료 AI 시스템의 실세계 유용성을 평가하기 위해, 우리는 대규모 언어 모델(LLM) 시스템을 포함하는 전자 의료 기록 시스템의 배포 중심 평가를 수행했습니다. 사용자 피드백이 희박하지만 배포 조건을 반영하는 시스템을 평가하기 위해, 우리는 미리 응답 분류기를 훈련하여 사용자가 LLM 응답을 거부할 위험이 있는지 예측했습니다.

배포 중심 평가

배포 중심 평가를 수행하기 위해, 우리는 사용자 피드백을 분석하여 미리 응답 분류기를 훈련했습니다. 이 분류기는 사용자 피드백을 기반으로 사용자가 LLM 응답을 거부할 위험이 있는지 예측합니다. 우리는 AUROC 0.719을 달성하여, 사용자 피드백을 기반으로 LLM 응답을 거부할 위험이 있는지 예측하는 데 성공했습니다.

다운스트림 사용 사례

다운스트림 사용 사례를 통해, 우리는 두 가지 사용 사례(가드레일 트리거링 및 abstention)를 통해 이러한 예측의 이점을 추정했습니다. 가드레일 트리거링을 통해, 우리는 사용자가 LLM 응답을 거부할 위험이 있는지 예측하여, 사용자에게 가드레일을 제공할 수 있습니다. abstention을 통해, 우리는 사용자가 LLM 응답을 거부할 위험이 있는지 예측하여, 사용자가 LLM 응답을 거부할 수 있도록 허용할 수 있습니다.

결과

결과를 분석한 결과, 우리는 다음과 같은 결론을 얻었습니다.

• 배포 중심 평가를 통해, 우리는 사용자가 LLM 응답을 거부할 위험이 있는지 예측할 수 있습니다.
• 다운스트림 사용 사례를 통해, 우리는 이러한 예측의 이점을 추정할 수 있습니다.
• 사용자 피드백을 기반으로 LLM 응답을 거부할 위험이 있는지 예측하는 데 성공했습니다.