건강관리 AI를 위한 성능 측정: 생성적, 다모드, 그리고 주체적 AI를 위한 벤치마크

건강관리 AI는 실세계 임상 환경에서 신뢰성 있게 작동해야 하는 복잡하고 위험한 워크플로우를 수행해야 한다. 이러한 시스템을 평가하기 위해 벤치마크가 필요하다. 벤치마크는 구조화된 태스크, 데이터셋, 및 지표의 조합으로, 모델이 무엇을 할 수 있는지에 대한 재현 가능한 비교가 가능하다. 건강관리 AI에서 중앙적인 도전은 성능만이 아니라, 실세계 조건에서 신뢰성, 안전성, 및 임상적 중요성을 측정하는 체계적인 방법이 부족한 것이다.

• 현재의 벤치마크는 대부분의 경우 모델이 무엇을 알고 있는지 테스트하지만, 실세계 임상 작업의 전체 복잡성을 고려한 신뢰성과 실패를 테스트하는 벤치마크는 부족하다.
• 대규모 언어 모델(LLM)과 같은 프론티어 모델은 의료 자격 시험에서 거의 완벽한 점수를 얻을 수 있지만, 실세계 임상 작업에서 성능은 급격히 하락한다. 문서화, 임상 결정을 지원하는 작업, 및 행정 및 워크플로우 작업에서 성능은 각각 0.74-0.85, 0.61-0.76, 및 0.53-0.63 범위에 있다.
• 벤치마크 점수가 높은 것은 배포 준비가 된 것처럼 보이지만, 실제로는 실세계 임상 역할을 수행하는 AI 시스템의 성능과 유용성의 격차가 커진다.
• 벤치마크 설계에 대한 원칙적인 프레임워크가 없다면, 기계 학습 분야에서는 모델의 한계가 아니고, 성능을 측정하는 방법의 결함인지를 결정할 수 없다.