batch된 LLM 서비스에 대한 요청 단위 에너지 분배

대규모 언어 모델(LLM)의 inference-Energy 평가를 위해 request-level energy를 측정하는 방법이 필요했습니다. 현재의 inference-Energy 벤치마크는 모델-, phase-, 또는 token-level energy를 측정하지만 request-level energy를 측정하지 못했습니다. 우리는 JouleShare라는 attribution framework를 제시합니다. JouleShare framework에는 두 가지 구성 요소가 있습니다. 첫 번째 구성 요소는 offline harness입니다. offline harness는 vLLM을 사용하여 request subsets를 재생하고 GPU power telemetry를 통합하여 exact Shapley energy를 계산합니다. 두 번째 구성 요소는 lightweight calibration model, JCalib입니다. JCalib는 cheap request features를 사용하여 Shapley shares를 예측합니다. JouleShare framework를 사용하여, 우리는 token-proportional attribution과 exact Shapley energy의 차이를 측정했습니다. token-proportional attribution은 exact Shapley energy와 0.440 (정적 배치) 또는 0.458 (연속 배치)의 차이를 보였습니다. JCalib를 사용하여, 우리는 이 오류를 0.116 (정적 배치) 또는 0.177 (연속 배치)로 줄일 수 existed. 또한, 우리는 sampled Shapley를 사용하여 measured reference를 더 큰 그룹 크기로 확장했습니다. sampled Shapley는 오류를 줄이지 못했습니다. 그러나, 우리는 single offline calibration이 가장 정확한 deployable rule임을 보여주었습니다. 결과적으로, 우리는 token attribution이 batched execution에서 marginal energy에 대한 신뢰할 수 있는 proxy가 아니며, measured Shapley ground truth가 low-cost request features를 fairer attribution으로 조정할 수 있는 것을 보여주었습니다.