LLM의 해석 시간 결정을 추적하는 공유 공간의 디코딩 공유

대규모 언어 모델(LLMs)은 여러 업무를 하나의 매개 변수 집합으로 처리할 수 있지만 KV 캐시된 추론 시에는 디코딩 시간 동안 대체로 어떤 업무에 일반적인 구조가 사용되는지 명확하지 않다. 우리는 DecodeShare라는 프로토콜을 제안한다. 이 프로토콜은 디코딩 시간 동안 숨겨진 상태에서 일관되게 여러 업무에서 공유되는 저차원 subspace를 식별하고, 그 subspace가 실제로 업무에 일반적인 역할을 하는지 테스트하기 위해 디코딩 시간 동안만 subspace를 제거한다. 실험 결과, 발견된 공유 subspace를 방해하면 같은 간섭 지출과 함께 prefilled된 subspace나 임의의 subspace를 방해하는 것보다 결정을 향상시키는 데 더 크게 영향을 미친다. 우리는 이 디코딩 공유 subspace가 실제로 업무에 일반적인 디코딩 채널을 오버랩하는 일반적인 제어 방향이 있는 것과 관련하여 실질적인 결과를 가지고 있다. 이 공유 subspace를 직접 제거하면 제어 채널과 업무에 일반적인 채널의 기능 역할을 분리할 수 있다. 또한 디코딩 시간 동안 제어 벡터를 평가하면 prefilled된 프록시보다 다운스트림 배포에 더 신뢰할 수 있는 신호를 제공한다. 그럼에도 불구하고, 공유 subspace는 디코딩 시간 동안 높은 수준의 이점을 가진 인과 채널로 작용할 수 있다.