인페런스벤치: 인공 지능 요원에 의한 개방형 LLM 추론 최적화에 대한 벤치마크

연구와 개발 과제를 자동화하기 위해 점점 더 많이 사용되는 인공지능 agent는 현재의 벤치마크는 일반적으로 사전 정의된 워크플로우 또는 좁은 액션 공간에서 평가한다. навіть nominally open-ended task도 종종 잘 알려진 레시피를 검색하고 몇 가지 하이퍼 파라미터를 조정하여 해결할 수 있기 때문에, 강력한 결과가 실제 최적화인지 또는 memorized solution인지 불분명하다. 우리는 InferenceBench를 소개한다. 여기서 agent는 OpenAI와 호환되는 inference server를 배포하고 LLM inference의 속도 최적화를 수행해야 한다. 각 agent는 목표 LLM, 한 H100 GPU, 최적화 시나리오, 그리고 두 시간의 wall-clock 시간 제한을 받는다. 세 가지 최적화 시나리오는 inference의 DISTINCT bottleneck (prefill latency, decode latency, concurrent request throughput)와 다른 시나리오를 고립한다. 네 번째 시나리오는 세 가지를 동시에 균형을 맞춘다. 15개의 frontier agent configuration을 통해 agent는 naive PyTorch baseline보다 신뢰할 수 있게 개선한다 (up to $8.08\times$) 그리고 default setting의 serving engine와 함께 match 또는 exceed (up to $4.05\times$ for vLLM), 그러나 동일한 시간 제한의 하이퍼 파라미터 검색보다 여전히 하위에 있다 (up to $11.53\times$). agent의 trajectory에 대한 질적 분석은 agent가 많은 관련 최적화 기법을 열거하지만, single inference framework에 대하여 거의 모든 agent가 집중한다는 것을 보여준다. agent는 단지 몇 가지 distinct configuration을 테스트하고 나머지 시간을 재측정, 수정, 또는 하이퍼 파라미터를 최적화하는 데 사용한다. 대신에, agent는 상당히 다른 전략을 탐색하는 데 시간을 사용하지 않는다. 이는 domain knowledge가 bottleneck가 아니고, agent가 다채로운 configuration을 제안하고, systematically evaluation하고, 최적화된 solution을 제출하는 능력이 bottleneck라는 것을 시사한다. InferenceBench는 memorized solution이 제한적인 개선을 초래하는 open-ended AI engineering setting에서 agent가 작동할 수 있는 능력을 반영한다.