KV 캐시가 어디에 위치해야 하나? GPU, CPU, SSD를 위한 장기 세션의 배치 정책

KV 캐시 배치 정책의 중요성

대규모 언어 모델의 성능을 향상시키기 위해서는 KV 캐시의 효율적인 배치가 중요합니다. 그래픽 처리 장치의 고속 대역폭 메모리는 부족하고 비싼데, KV 캐시가 대화, 에이전트 루프, 문서 질문에 대한 답변을 축적하는 과정에서 많은 메모리를 차지합니다. 따라서, KV 캐시를 어디에 위치시키는 것이 최적인지 결정하는 것이 중요합니다.

Mooncake, LMCache, FlexGen, InfiniGen, AttentionStore와 같은 시스템은 그래픽 처리 장치 메모리를 중앙 처리 장치 DRAM과 솔리드 스테이트 드라이브와 연동하여 확장합니다. 그러나, 이러한 시스템에서 더 어려운 문제는 각 계층에 어느 블록이 속해 있는지, 언제 그 블록을 이동하거나 제거해야 하는지, 그리고 전방 동작이 도움이 되는지에 대한 것입니다.

시뮬레이션 결과

그래픽 처리 장치 HBM, 중앙 처리 장치 DRAM, 솔리드 스테이트 드라이브를 포함하는 이벤트 시뮬레이터를 통해 이러한 선택들을 연구했습니다. 시뮬레이터는 랜덤 포레스트 실행 시간 예측기에 맞춰 설정되었습니다. 우리는 대화, 에이전트, 문서 질문에 대한 답변과 같은 작업 부하에서 최근성, 재사용 빈도, 예측 재사용, EWMA 예측기, 전방 동작 lookahead와 같은 정책을 비교했습니다.

계층화는 그래픽 처리 장치당 73.02배 더 많은 동시 세션을 지원하고, 1대 1 세션당 비용을 62.04배 줄입니다. 이러한 이익은 1 + 8 + 64의 계층 용량에서 비롯되며, 배치 정책이 아닙니다. 디코딩은 우리의 설정에서 배치 크기가 1이기 때문에, 배치 정책은 처리량에 거의 영향을 미치지 않습니다. 그러나 PCIe 이동 트래픽과 첫 번째 토큰까지의 시간이 바뀝니다.