신경망 아키텍처를 위한 정보거리(Fisher 정보 거리)를 사용한 최적 절단(Pruning)

연구자들은 새로운 매개변수 삭감 기법을 개발했다. 이 기법은 모델 공간 내에서 미분 기하학 거리를 사용하여 출처되었다. 매개변수를 삭감하는 것은 매개변수의 값을 0으로 설정하는 것을 의미하며, 매개변수가 사라진 초평면으로 모델을 이동하는 것을 나타낸다. 매개변수가 사라진 초평면까지의 최소 거리는 모델 공간에서 피셔 정보 기하학 기약을 통해 자연스럽게 계산된다. 이 거리는 실제 모델의 변경과 그 성능을 결정한다. 매개변수를 삭감하는 거리와 관련된 점진적으로 더 신뢰할 수 있는 근사치를 분석하여 매개변수 삭감 방법의 최적성 계층이 결정된다. 이 계층은 전통적인 크기 삭감으로 시작하여 더 복잡하고 효과적인 삭감 기법으로 발전한다. 이 방법은 완전 연결 네트워크와 비전 트랜스포머에 대해 MNIST와 CIFAR-10 데이터셋에서 완전한 0-100% 삭감 범위와 다섯 개의 랜덤 시드를 사용하여 테스트되었다. 매개변수 크기와 지역 피셔 정보만으로 삭감하는 것보다 모든 아키텍처와 데이터셋 combination에서 정확도와 매튜스 상관 계수를 모두 뛰어난 성능을 보였다. 또한, 기하학적 근사치의 다양한 수준을 분석하여 중간 삭감 기법을 개발할 수 있었는데, 이 기법은 계산적으로 효율적이고 거의 최적의 성능을 유지한다. 이 기하학적 그림은 AI 모델에 대한 최고 수준의 삭감 방법론을 제공하며, 매개변수 삭감 기법의 정당성을 증명하는 수학적으로 мот이브된 정당성을 제공한다.