대규모 언어 모델(LLM) 분산 서비스를 위한 학습된 요청 라우팅 연구: 측정된 라우팅

대규모 언어 모델(LLM) 분산 서비스는 컴퓨트 heaviness의 prefll과 메모리 heaviness의 decode를 별도의 GPU 풀에서 수행합니다. DistServe, Splitwise, Mooncake와 같은 시스템은 이 분리성을 빠르게 하지만, 라우팅은 각 요청을 처리할 인스턴스를 결정합니다.

이 연구에서는 각 인스턴스에서 추가 완료 시간을 예측하는 라우터를 연구합니다. 라우터는 예측된 출력 길이, POST admission KV 캐시 압력, SLO 클래스와 같은 요소를 고려합니다. 라우터는 디스เคร이트 이벤트 시뮬레이터에서 개발되었으며, 8개의 NVIDIA A40 GPU에서 vLLM 엔진이 실행되는 8개의 인스턴스에 대해 검증되었습니다. NIXL은 KV 캐시를 인스턴스 간에 전송합니다.

3개의 혼합, 폭발적인 도착 트레이스에서, 학습된 라우터는 평균 좋은PUTE에서 0.864을 달성하며, 라운드 로빈, 최소 로드, 길이 힙스트리트와 비교하여 0.835에서 0.847를 달성합니다. 또한, 라우터는 최저 변동성을 보입니다.

• 라우터는 3개의 혼합, 폭발적인 도착 트레이스에서 라운드 로빈과 길이 힙스트리트보다 높은 평균 좋은PUTE를 달성합니다.
• 라우터는 2개의 도착 트레이스에서 최소 로드보다 높은 평균 좋은PUTE를 달성합니다.
• 라우터는 3번째 도착 트레이스에서 최소 로드보다 낮은 평균 좋은PUTE를 달성합니다.

hardware calibration의 중요성

시뮬레이터에서 유도된 상수는 4.5 좋은PUTE 점을 비롯한 tail latency 이점의 약 40%를 감소시킵니다. 이로 인해 점수기기는 큐 카운팅보다 거의 NOTHING이 됩니다.

decode 풀 크기와 트래픽의 다양성이 증가할수록 이익은 증가하지만, 풀에 3개의 인스턴스가 있는 경우 이익은 사라집니다.

극단적인 부족 시나리오에서, 탐욕적 비용 최소화는 요청을 가장 저렴한 점수된 인스턴스에 집중시키며, 무지한 분산은 더 나은 결과를 나타냅니다.

조정된 비용을 사용하여 학습된 라우터는 6개의 GPU를 사용하여 라운드 로빈과 같은 좋은PUTE를 달성합니다.