인텔 TDX 하위 NVIDIA H100에서 신뢰할 수 있는 GPU 추론 성능 측정

인텔 TDX 하위의 엔비디아 H100 그래픽 처리 장치에서 신뢰할 수 있는 그래픽 처리 장치 추론 성능 측정은 기밀 처리를 활성화하는 성능 비용을 이해하는 데 중요합니다. 기밀 처리는 대규모 언어 모델 서비스를 위한 실질적인 배포 요구 조건이 되고 있습니다. 그러나 그래픽 처리 장치 가속된 대규모 언어 모델 서비스를 위해 기밀 처리를 활성화하는 성능 비용은 작업 부하에 따라 달라지고 운영적으로 중요합니다.

성능 비교 연구

이 논문은 엔비디아 H100 80GB 그래픽 처리 장치를 인텔 TDX 기밀 인스턴스에 호스트한 경우 표준 비기밀 처리와 기밀 처리 모드 간의 성능 비교를 수행하는 벤치마크 연구를 제시합니다. 두 가지 대표적인 언어 모델인 미스트랄-7B v0.1과 퀸3-30B-A3B를 사용하여 시간을 첫 번째 토큰, 종단-to-end 요청 지연 시간, 요청당 토큰 생성 속도, 전역 토큰 속도, 닫힌 루프 요청 속도와 같은 여러 성능 지표를 측정합니다. 이 연구는 기밀 처리가 성능에 미치는 영향을 깊이 이해하는 데 도움이 됩니다. 고정 요청 속도 실험에서, 기밀 모드는 미스트랄-7B에서 평균 TTFT를 21.8%로, 퀸3-30B-A3B에서 27.8%로 증가시킵니다. 반면 전역 토큰 속도는 각각 17.7%와 21.1% 감소합니다. 닫힌 루프 동시성 실험에서, 처리량 차이는 11.5-20.2% 범위에 유지되지만 더 큰 모델은 기밀 모드에서 더 빠르게 포화 현상을 경험합니다. 결과는 기밀 그래픽 처리 장치 인식이 부하에서 사용 가능한 처리량을 유지할 수 있지만 용량 계획은 안정적인 처리량 페널티와 더 큰 모델의 이전 포화 행동을 모두 고려해야 합니다. 이러한 연구 결과는 기밀 처리를 활성화하는 성능 비용을 이해하는 데 중요한 역할을 합니다.