다중 모드 LLM의 이미지 기반 의료 대화에 대한 벤치마크

최근 대규모 언어 모델 및 시각-언어 모델의 발전으로 다중 모드 데이터에 대한 논리적 추론이 가능해졌고, 의료 적용 분야에서 의사결정 지원 및 전문의로의 분류와 같은 기회를 제공하고 있습니다. 그러나 현재 의료 AI 벤치마크는 분산되어 있습니다: 일부는 다중 턴 대화 지원을 제공하지만 이미지를 제공하지 못하고, 다른 벤치마크는 다중 모드 입력을 제공하지만 단일 턴 QA 작업에만 집중하고 있습니다. 이 빈칸을 메우기 위해 우리는 IMCBench라는 이미지를 기반으로 한 다중 턴 의료 대화 벤치마크를 소개합니다. IMCBench는 실제로 공개된 의료 이미지를 합성 환자 프로필과 pair하여 현실적인 환자-의사 상호 작용을 시뮬레이션합니다. 각 대화는 세 가지 의료 차원에서 평가되는데,それは 안전성, 정확도, 그리고 진단에서 불확실성을 적절하게 사용하는 것입니다. 우리는 네 가지 모델 가문(Claude, GPT, Nova, Llama)에서 여덟 가지 다중 모드 프론티어 모델을 벤치마크하고, 전문가 의사 annotations과 조정된 LLM-as-Jury 점수를 사용하여 각 모델을 1-5 점 scale에서 평가했습니다. 결과는 Claude Opus 4.6가 최고 점수(3.61)를 달성했고, Claude Sonnet 4.6 (3.30)와 GPT-5.2 (3.29)가 뒤를 따랐지만, 어떤 모델도 모든 차원에서 우세하지는 않았고, 악성 및 희귀한 조건에서 모두 안전성이 저하되었습니다 ($\Delta$ = -0.27 각). 추출 연구는 또한 시각 입력과 EHR 컨텍스트가 모두 안전한 지침을 제공하는데 기여한다는 것을 밝혔는데, 이는 평균적으로 각각의 제거 시 안전성이 0.18 및 0.23 점으로 저하되었습니다. 더 강력한 모델은 시각적 특징을 더 효과적으로 활용하고 있습니다. 이 발견들은 정확한 의료 설명이 안전한 환자 지침을 보장하지 않는다는 것을 보여주고, 의료 AI에서 다차원 평가 프레임워크가 필요함을 강조합니다.