그래프 신경망에서 깊이-aware의 장거리 전파에 대한 스펙트럼 흐름 증명서

그래프 신경망( Graph Neural Networks, GNN )은 지역 메시지 전달을 통해 정보를 전달하지만 그래프 구조 자체가 장거리 작업을 해결하기 위해 어떤 양의 훈련도 해결하지 못하는 경우가 있다. 새로운 그래프에 GNN을 배포할 때, 현재 훈련이 시작되기 전에 그래프의 구조가 정보가 먼 노드 사이에 충분히 전달할 수 있는지 알 수 있는 inexpensive한 방법은 없다. 이 빈도를 채우기 위해 Spectral Flow Certificates (SFCs)라는 개념을 제안했다. SFCs는 그래프의 정규화된 라플라스 행렬에서 계산되는 단일 스칼라로, 모델 훈련이 필요하지도 않고 레이블된 데이터가 필요하지도 않다. SFCs는 그래프의 대수적 연결성과 선택한 메시지 전달 깊이를 하나의 숫자로 결합하여, 사용 가능한 깊이 예산 내에서 critical 스펙트럴 병목 현상을 얼마나 거슬러 올라갈 수 있는지를 측정한다. raw 스펙트럴 격차와는 달리, SFCs는 layer의 수가 증가할 때 adapt 하기 때문에, 깊이가 변할 때는 strictly 더 많은 진단 정보를 포함한다. GNN 장거리 정확도에 대한 훈련된 GNN의 평균 효과적 저항과 그래프 지름과 같은 고전적인 구조 통계와 비교할 때, SFCs는 훈련된 GNN 장거리 정확도에 대해 두 배 이상의 분산을 설명한다. 트레일, 사이클, 격자, 정칙 그래프, 랜덤 그래프를 포함하는 25개의 합성 그래프 패밀리에서, SFCs는 gradients가 계산되기 전에 훈련된 정확도를 예측한다. 모든 테스트된 깊이에서 90% 이상의 설명력을 갖는다. 같은 예측 관계는 3개의 independent benchmark 데이터셋에서 150개의 실질적인 분자 그래프 구조에 대해도 유지된다. 합성 구축이 아티팩트가 아니라는 것을 확인한다. 이 결과는, 단일 이진 값 계산만으로도 그래프 구조가 topolgy-limited인지 flag 할 수 있으므로, 비용이 많이 드는 훈련 pipe라인에 앞서 principled한 첫 번째 필터를 제공한다는 것을 보여준다.