다양한 모드의 인공지능을 위한 내부 정보 분해를 통한 보안

다중 모드 대규모 언어 모델은 단일 모드 시스템에 없는 공격 표면을 제공합니다: 공격자는 단일 모드 보안을 우회하기 위해 악의적인 의도를 모드에 분산시킬 수 있습니다. 이에 따라 각 모드를 분리하여 검사하는 대신, 모드 간 일관성을 검사하여 공격 탐지 신호로 사용하는 것이 적절합니다. 우리의 주요 관찰 결과는, 양성 입력은 텍스트만 사용하고 시각만 사용하는 논리적 추론에서 호환되는 예측 행동을 유발하고, 이 호환성이 융합되었을 때 안정화되지만, 공격적인 조작은 이 일관성을 방해하고, 비정상적인 다중 모드 행동을 유발합니다. 현재의 방어 기법은 raw 입력이나 출력만을 검사하여 내부 융합 과정에 무시하는 경우가 많아, 이들이 취약하고 계산적으로 비싼 것입니다. 우리는 FlowGuard라는 가벼운 추론 시간 프레임워크를 제안합니다. 이 프레임워크는 내부 다중 모드 일관성을 모니터링하여 유해한 입력을 감지합니다. FlowGuard는 Partial Information Decomposition에서 유래한 FlowVectors를 사용하여 모드 간의 중복성, 동반성, 모드별 독립성을 측정합니다. 융합된 다중 모드 예측이 단일 모드 의미적 증거와 일치하는지 여부를 판단합니다. 단순히 양성 데이터만을 사용하여 학습된 one-class classification 문제에서, FlowGuard는 미리 볼 수 없는 공격에서 성공률이 90% 이상에서 15% 미만으로 감소시키며, 유용성 손실이 3% 미만이고 최대 6배의 지연 감소가 있습니다. 우리의 결과는 다중 모드 논리적 추론에 대한 효율적이고 효과적인 방어로 모드 간 일관성을 모니터링하는 것이 적합함을 보여줍니다.