모델링에서 시간까지 고려하는 이벤트 모델링을 위한 크로스 모달 표현 대응

모델링에서 시간까지 고려하는 사건 모델링

의료 분야에서 예측하는 정확한 시간까지 발생하는 예측은 멀티모달 임상 데이터에서 어려움을 겪고 있습니다. 이는 모달 불균형과 분포 이동으로 인해 발생합니다. 이러한 문제를 해결하기 위해 우리는 컴퓨터 단층 촬영 영상과 연속적인 전자 건강 기록 데이터 사이의 모달 대응을 위한 기초 모델 기반 프레임워크를 제안합니다. 이 프레임워크는 여러 작업과 기관에서 일반화가 가능합니다. 컴퓨터 단층 촬영과 전자 건강 기록 모달리티는 각각 도메인 특정 기초 모델을 사용하여 독립적으로 인코딩되고, 4가지 원칙적인 융합 전략을 통해 공유 잠재 공간에 정렬됩니다. 이러한 융합 전략은 늦은 융합, 대조 정렬, 교차 주의, 그리고 공동 주의입니다. 이러한 접근법을 통해 우리는 시간까지 예측의 정확도를 높일 수 있습니다.

임상적으로 다른 시간까지 예측 작업 평가

우리는 2가지 임상적으로 다른 시간까지 예측 작업을 평가합니다: 폐색 사망률과 심장질환 결과입니다. 이 작업은 대규모 다기관 코호트에서 수행되었습니다. 결과적으로, 융합은 단일 모달 기준선보다 모달이 비교적 비중을 차지할 때 일치 지수 향상되었습니다. 특히, 대조 다모달 융합, 특히 CLMBR 표현을 사용한 융합은 폐색 예측에서 가장 일관되며 통계적으로 강건한 향상을 제공했습니다. 따라서 우리는 일반화 가능한 기초 모델 기반 교차 모달 정렬 프레임워크를 제안하고 모달 불균형 아래에서 시간까지 예측에서 융합 행동을 체계적으로 분석하는 첫 번째 연구를 제공합니다. 결과적으로, 작업 인식 다모달 정렬은 강건한 일반화를 제공하며, 이는 의료 분야에서 예측 정확도를 높이는 데 도움이 될 수 있습니다. 이러한 연구 결과는 의료 데이터의 다중 모달성과 불균형을 고려한 예측 모델 개발에 중요한 기여를 할 수 있습니다.