교통 관리를 위한 비용 최적화 기초 모델 배포 포트폴리오

기반 모델, 특히 대규모 언어 모델(LLMs)와 시각-언어 모델(VLMs)은 교통 관리 센터(TMC) 작업인 이상 탐지, 사건 보고, 여행자 정보 제공과 같은 작업에 점점 더 많이 사용되고 있습니다. 여러 가지 이러한 모델을 TMC 기능에 배치하는 것은 포트폴리오 문제로 간주되며, 각 기능에 어떤 모델을 배치할 것인지, 어떤 배포 모드를 사용할 것인지, 공유 하드웨어 예산 내에서 어떤 모델을 배치할 것인지에 대한 질문입니다. 기반 모델 배포 포트폴리오(FMDP) 문제를 제시하여 이 문제를 공식화합니다. FMDP는 공유 GPU 용량 내에서 각 기능의 품질, 지연 시간, 안전성 제약조건을 충족하는 총 소유 비용(TCO) 최소화 문제입니다. FMDP 문제는 0-1 가방 문제로 부터 NP-난이도 문제임을 증명하였으며, 이 문제를 해결하기 위한 다항 시간 내의 Greedy 하이퍼루틴을 제안합니다. 5개의 TMC 기능과 19개의 모델/모드 pair를 가진 일러스트레이티브 케이스 스타디에 FMDP는 $34/월의 혼합 포트폴리오를 식별하였습니다. 이 혼합 포트폴리오는 4개의 기능을 오픈 소스 API로, 품질의 바닥을 오픈 소스 모델이 만족하지 않는 기능을 클로즈드 API로 배치하였습니다. 비용 절감 분석 결과, 약 309개의 시각 쿼리/시간 이상 또는 API 가격이 두 배가 된다면, 온프레미스 GPU 투자가 합리적이게 되었습니다.