적대적 강도에 대한 추론적 결합: 사전 학습된 트랜스포머 기반 인식 모델

대규모 언어 모델(LLM)과 같은 이전에 훈련된 인식 모델을 새로운 환경에서 사용하면 분포가 변화하는 경우 정확도가 저하되며 단독으로 이를 회복시키려면 결합 방식을 사용하는 것만으로는 충분하지 않다. 결합 방식 중 다수결 투표는 재콜을 위해 정밀도를 희생하고 coordinated 실패에 취약하다. 이전의 메타인지 방법은 논리적 규칙을 통해 모델의 오류를 식별하지만, 실제로 새로운 장면에 적용할 수 없는 도메인 지식 cue (객체 크기 사전 지식, 분할 MASK) 의존한다. 우리는 도메인 지식이 없는 메타인지 layer를 학습할 수 있음을 보여준다. 이는 각 모델의 훈련 임베딩으로부터 생성된 Label Vector Pool(LVP)로, 오류 감지를 위한 논리적 규칙을 vector-space geometry를 통해 얻을 수 있다. 이는 훈련으로 결정된 prototype에 대한 감지 결과의 상대적 지오메트리에서 오류 감지를 위한 규칙을 제공한다. 이는 도메인 지식 규칙과 F1 score에 대한 차이를 $0.002$로 유지한다. 이 접근 방식은 여전히 neurosymbolic이므로, 도메인 지식이 없이는도 이러한 지오메트리 규칙은 단일 논리적 프레임워크를 공유하고, 도메인 지식이 있을 때도 여전히 도메인 지식에 의해 보완될 수 있다. 여러 ViT 기반 감지기를 결합하는 것을 일관성 기반 추론 문제로 프레임워크하고, 이 문제를 exact Integer Program (IP)과 이산 시간 복잡도의 heuristics를 사용하여 테스트 시간에 해결한다. 15개의 날씨 변환 테스트 세트와 6개의 ViT 감지기를 사용하는 비행 이미지 벤치마크에서, 도메인 지식이 없는 layer는 clean 데이터에서 가장 강력한 다수결 투표 변형과 F1 score에 대한 차이가 $0.005$로 유지하며, 다른 모든 다수결 투표 baseline과 달리 coordinated label-flipping 공격에서 성능을 유지한다. $90\%$의 플립율에서 F1 score는 $0.42$로 평균화되고, MV-Plurality ($0.35$)와의 상대적인 손실은 $22\%$이며, 플립율이 $0.4$를 초과하는 모든 테스트 세트에서 F1 score를 최댓값으로 유지한다.