LLMs가 XAI 설명의 품질을 평가할 수 있나요?

인터프리블 AI(XAI) 방법의 설명 품질을 평가하는 것은 아직도 어려운 일이다. 현재 방법들은 주로 인간의 주관적인 판단에 의존하기 때문에 재현성, 확장성, 연구 간 비교가 제한된다. 우리는 대규모 언어 모델(LLM)을 이용하여 XAI 설명의 품질을 비교 평가하기 위한 재현성 있고 확장성이 높은 메커니즘으로 사용할 수 있는지 살펴보았다. 우리는 XAI-Arena이라는 LLM을 심판으로 사용하는 프레임워크를 제시하였다. 이 프레임워크는 XAI 설명의 품질을 다차원적으로, 재현성 있게, 그리고 이해 당사자에 대한 민감하게 평가할 수 있다. XAI-Arena를 통해 우리는 XAI 설명의 여러 측면, 즉 간결성, 명확성, 작업 적합성, 신뢰 계조, 실행 가능성, 투명성, 신뢰성, 그리고 전반적인 해석 가능성 등에 대한 비교 평가를 할 수 있다. 우리는 다양한 데이터셋, 머신 러닝 모델, 이해 당사자 역할을 가진 사람들을 대상으로 XAI 설명 방법을 벤치마킹하였다. 인간의 검증 결과, LLM이 생성한 평가는 인간의 평과와 강한 긍정적인 연관성을 보였다(Spearman의 rho=.693, p<.001). 결과적으로 LLM을 이용한 평가 방법은 XAI 설명의 품질에 대한 체계적인 차이를 포착할 수 있고, XAI 설명의 비교 평가를 위한 재현성 있고 확장성이 높은 프레임워크를 제공할 수 있다.