의료 음성 인공지능의 멀티태스킹 벤치마크

음성은 신경계, 운동계, 호흡계, 음성계를 동시에 관여하는 독특한 건강 정보 창문을 제공합니다. 현재 임상 음성 인공지능 방법론은 주로 특정 질병에 대한 고립된 연구를 통해 발전해 왔습니다. 따라서 결과를 비교하고 일반화 정도를 평가하는 것이 어려웠습니다. 우리는 임상 음성 인공지능을 위한 대규모 벤치마크인 SpeechDx를 소개합니다. SpeechDx는 12개의 데이터셋과 27개의 작업을 포함하는 다양한 건강 상태의 임상 음성 인공지능을 다루고 있습니다. SpeechDx는 음성 생성 단계를 중단하는 것으로 작업을 구조화하여 평가를 위해 임상 메커니즘을 공유합니다. [대규모 언어 모델(LLM)]의 성능을 평가하기 위해 SpeechDx는 작업에 한정된 레이블 데이터를 포함하고 동일한 건강 상태를 여러 데이터셋에 걸쳐 평가합니다. SpeechDx는 임상적으로 의미 있는 패턴과 데이터셋의 오류를 구분하여 평가합니다. 우리는 12개의 cutting-edge 오디오 인코더를 모든 작업과 zero-shot cross-condition 전송에서 체계적으로 평가했습니다. 결과는 대규모 음성 모델이 전체적인 베이스 라인인 가장 강력한 결과를 나타내며, 도메인 특정 모델은 유사한 작업에서만 성능을 향상시키고, 현재의 표현은 임상 음성 지평을 통틀어 신뢰할 수 있는 일반화가 되지 않는다는 것을 보여주었습니다. SpeechDx는 임상 음성 표현을 일반화하는 방향으로의 진전을 추적하기 위한 공유 평가 프레임워크를establish합니다.