MLLM-유도 diffusian 변환기와 관계 적응 혼합 전문가 모델을 이용한 다모드 지식 그래프 완성

다모드 지식 그래프 완성의 필요성

다모드 지식 그래프 완성은 구조적, 텍스트, 시각적 단서에서 누락된 실체를 추론하는 것을 필요로 한다. 이는 지식 그래프를 완성하고, 지식의 결손을 보완하여 다양한 응용 분야에서 활용할 수 있도록 하는 중요한 기술이다. 기존의 확산 기반 다모드 지식 그래프 완성 방법은 일반적으로 원시 다모드 특징에 직접 노이즈 제거를 한다. 이러한 설계는 관계에 의존하는 단서 선택, 교차 모드 의미 부합, 구조적 실체 생성을 동시에 수행하도록 강제한다.

그러나 이러한 접근법은 확산에 대한 불안정하고 의미 불일치한 조건을 이끌어내고, 그로 인해 최적의 완성 성능을 달성하지 못한다. 이를 해결하기 위해 새로운 프레임워크가 필요하다. 다모드 지식 그래프 완성을 위한 새로운 프레임워크는 이러한 한계를 해결하기 위해 제안되었다.

새로운 프레임워크

새로운 프레임워크는 정렬-확산 패러다임에 기반을 둔 관계 적응 의미 라우팅 전문가 모음 모듈을 사용하여 관계에 관련된 다모드 의미 변환 경로를 선택하고 불필요한 모드 간섭을 억제한다. 또한, 고정된 다모드 대규모 언어 모델이라는 의미를 사용하여 라우팅된 다모드 표현을 통합된 잠재 공간에 맞춤 맞춘다. 이는 교차 모드 의미 불일치를 줄이기 위해 중요하다.

마지막으로, 지식 그래프 확산 변환기는 그래프 조건화된 노이즈 제거 생성을 수행하여 누락된 실체 표현을 생성한다. 이러한 새로운 프레임워크는 기존의 방법보다 뛰어난 성능을 보여주며, 다모드 지식 그래프 완성에 새로운 가능성을 열어준다. 세 가지 벤치마크 데이터 세트에서 실험 결과 새로운 프레임워크는 강력한 기준선보다 일관되게 뛰어나다.