경로 플립 감지보다 손상 修復 여부를 판단하는 것이 더 어려운 문제: 대규모 언어 모델의 Quantized Mixture-of-Experts에서 Causal Route-Mediated 손상

대규모 언어 모델에서 경로 매개 변수 손상 연구

대규모 언어 모델에서 Top-k 전문가 모음 경로가 불연속적이기 때문에, 배포를 위한 숫자적인 간섭은 토큰을 결정 경계를 넘어가는 방식으로 밀어내고 경로를 바꾸는 것을 유발한다. 이 연구는 새로운 손상 완화를 제안하지 않지만, 경로 매개 변수 손상에 대한 원인 관계적 도구, 경험적 발견, 그리고 감지한 한계 결과를 제공한다. 연구에서는 4회 실험 장치를 통해 경로 매개 변수 손상에 대한 원인 관계적 분할을 수행하고, 토큰 단위의 기여도를 통해 손상 메커니즘을 분해한다. 경로 매개 변수 손상 연구에서는 OLMoE-1B-7B에서 4비트 KV 캐시 양자화 시, 약 1/3의 손상이 경로 매개 변수에 의해 유발된다는 것을 발견했다. 경로 매개 변수 손상에 대한 원인 관계적 분할 결과는 세 가지 아키텍처에서 일관되게 나타났다. 이러한 결과는 경로 매개 변수 손상에 대한 이해를 깊게 하고, 경로 플립 감지와 손상 복구 여부를 판단하는 데 사용되는 로컬, 추론 가능한 라우터 통계의 한계를 보여준다.

경로 플립 감지와 손상 복구 여부 판단

경로 플립 감지 연구에서는 경로 플립을 감지하는 데 사용되는 배포 가능한 라우터 여유를 검증했다. 결과는 배포 가능한 라우터 여유는 경로 플립이 발생했는지 여부를 감지할 수 있지만, 유해한 플립과 유익한 플립을 구별할 수 없다는 것을 발견했다. 경로 플립의 손상 여부를 판단하는 데 사용되는 로컬, 추론 가능한 라우터 통계 중에서, 유의미한 예측자 하나도 발견되지 않았다. 이는 경로 플립 감지보다 손상 복구 여부를 판단하는 것이 더 어려운 문제임을 시사한다. 이 연구의 결과는 대규모 언어 모델에서 경로 매개 변수 손상과 경로 플립 감지에 대한 새로운 시각을 제공한다. 이러한 결과는 향후의 연구에 기초하여, 더 효율적이고 효과적인 경로 매개 변수 손상 완화와 경로 플립 감지 방법을 개발하는 데 도움이 될 수 있다.