LLMs를 활용한 임상 의사 결정에 대한 신뢰성 있는 EHR 기반 벤치마크

의료 결정-making( Clinical Decision-making, CDM)은 실제-world 의료 워크플로우에서 중요한 역할을 하며, 의사들은 불완전한 증거를 기반으로 진단을 추론하고 치료를 선택하거나 미래의 건강 결과를 예측한다. 대규모 언어 모델(LLM)은 강력한 언어 능력, 광범위한 생의학 지식, 효율성으로 인해 이러한 결정에 지원하기 위해 점점 더 많이 사용되고 있지만, LLM이 실제-world 의료 결정 작업에서 신뢰성을 충분히 이해하지 못하고 있다. CDM 모델, 특히 LLM 기반 모델을 평가하기 위한 이상적인 및 실제 의료 결정 기준은 자동화된 반면 신뢰성 있는 pipe-line을 통해 규모와 품질을 보장해야 한다. 또한 CDM 기준이 실제 환자 EHR(Electronic Health Record)에 기반을 두면, 실질적인 CDM 작업이 필요로 하는 상당한 생의학 지식과 임상 추론을 지원하는 평가를 더 잘 지원할 수 있다. 이러한 간격을 채우기 위해, 우리는 EHRBench라는 자동화된 및 신뢰성 있는 EHR 기반 기준을 제시한다. 이는 LLM 기반 의료 결정-making을 규모에 맞게 평가하기 위해 설계되었다. 규모와 신뢰성을 보장하기 위해, EHRBench는 EHR-LLM-KB(지식 베이스) 상호작용 pipe-line을 통해 구축된다. 효율성을 위해, 우리는 특수화된 LLM을 사용하여 인코운트 레벨 EHR 경로를 구조화된 템플릿으로 자동으로 변환하고 템플릿을 QA 항목으로 deterministically instantiate한다. 동시에, 우리는 체계적인 KB 기반 검증 및 보강을 적용하여 halluncinated 또는 불확실한 관계를 필터링하고 신뢰성을 향상한다. 이 pipe-line을 사용하여, 우리는 거의 1M(960,067) QA 항목을 구축한다. 이는 진단, 치료 및 예측 3가지 핵심 추론이 필요한 의료 결정 작업을 다루고 있다. 우리는 EHRBench에서 30개 이상의 대표적인 LLM을 benchmark하고 성능 및 견고성에 대한 세부 분석을 제공한다. 결과는 일관된 성능 경향을 보여주며, EHRBench의 신뢰성을 확인하고 임상적으로 신뢰할 수 있는 LLM 시스템을 향한 실질적인 간극을 강조한다.