MRI 보고서에서 구조 정보를 자동으로 추출하기 위한 공개 무게 큰 언어 모델을 사용한 접근

연구 목표: 무료 텍스트 방사선 진단 보고서에서 데이터 자동 추출이 대규모 연구를 가능하게 하지만, 네이로라디올로지 보고서에 대한 대규모 언어 모델(LLM)의 성능을 평가한 연구는 거의 없었습니다. 방법: 2016년부터 2021년까지 1,000여 건의 뇌 MRI 보고서를 분석하였으며, 이 중 947건은 중증 기억 클리닉에서 작성한 보고서였습니다. 이 중 30개 변수를 학습한 의사 학생들이 100건의 보고서를 두 번으로 annotate하였습니다. 우리는 LLaMA 3.1이라는 공개 중량 LLM의 성능을 네덜란드어와 영어 번역과 다르게 평가하였으며, 몇 단계의 지시를 사용하여 다양한 예제 선택 전략을 사용하여 평가하였습니다. 성능은 카테고리 변수에 대한 균형 정확도, 카운트에 대한 정확도 및 평균 절대 오차, 그리고 텍스트 유사도에 대한 평가를 통해 평가하였으며, 이 평가를 위해 947건의 보고서를 10개로 무작위로 나누었습니다. 결과: LLaMA 3.1은 시각적 등급 점수에 대한 zero-shot 성능이 높았습니다. (95% 신뢰구간): 측정된 시간적 경화: 왼쪽 90% [77-100%]과 오른쪽 96% [94-99%]과 전역 뇌 경화: 87% [83-91%]와 Fazekas: 94% [93-96%]를 나타내었습니다. microbleed mentions는 93% 정확도 [92-95%]와 infarct mentions는 82% 정확도 [80-84%]를 나타내었습니다. 뇌 손상 위치에 대한 텍스트 유사도는 0.95 [0.95-0.96]를 나타내었습니다. 숫자 변수의 성능은 낮았습니다: 80% [78-82%] microbleeds의 수와 66% [63-68%] infarcts의 수를 나타내었습니다. 영어 번역은 유사한 결과를 나타내었습니다. 몇 단계의 지시가 숫자 변수의 성능을 향상시켰으며, 구조적 유사성 기반 선택을 사용하여 microbleeds는 92% [90-93%]와 infarcts는 81% [77-85%]를 나타내었습니다. 결론: LLaMA 3.1은 네덜란드어 네이로라디올로지 보고서에서 데이터를 추출하는 데에 강력한 잠재력을 가지고 있습니다. 몇 단계의 지시가 숫자 변수의 성능을 향상시키지만, 위치에 대한 변수의 성능은 여전히 문제가 있습니다.