설명 가능한 인공지능 방법론의 평가를 위한 합성 지표 프레임워크

인공지능 해석 가능성 평가 방법의 평가 작업은 신뢰할 수 있는 평가 절차의 부족과 특히 참값 설명의 부재로 어려운 일이다. 기존의 평가 방법은 기존의 블랙 박스 모델의 예측과 설명의 정확성 측정으로 설명을 평가한다. 그러나 이러한 평가 전략은 설명이 모델의 출력을 재생산하는 정도를 측정하는 것으로 제한되며, 설명이 모델의 내부 결정 과정에 대한 올바른 반영을 보장하지 않는다.

합성 지표 프레임워크

이로 인해 다른 설명들이 유사한 정확성 점수를 달성하여 모델의 행동에 대한 불일치 또는 왜곡된 해석을 제공하는 경우가 있다. 이 논문에서는 XAI 방법의 평가를 위한 합성 참값에 기반한 프레임워크를 제안한다. 제안된 접근 방식은 제어된 간섭을 사용하여 합성 데이터 집합을 생성하여 입력 구성 요소의 중요성을 설계에 의해 결정할 수 있다. 이로 인해 분석 모델의 행동과 직접 일치하는 참값 설명을 구성할 수 있다. 프레임워크는 이차 이미지, 테이블 데이터 및 시계열 데이터를 포함한 세 가지 데이터 도메인에서 구현되며, 설명 방법의 다양성을 평가할 수 있는 포괄적인 평가를 허용한다. 현재 기술의 한계를 보여주고 설명 품질의 신뢰할 수 있는 평가를 위한 합성, 간섭 기반 기준점의 중요성을 강조하는 것으로 나타난 9개의 널리 사용되는 XAI 방법을 평가한 실험 결과를 얻었다. 이러한 연구 결과는 설명 가능한 인공지능 방법론의 평가를 위한 새로운 프레임워크의 필요성을 강조한다.