다중 테넌트 LLM 시스템에서 검색 및 생성에서 테넌트당 비용 분배에 대한 통합 테넌트당 비용 Attribution

다중 임대인 언어 모델 시스템의 비용 분배 문제

대규모 언어 모델을 사용하는 기업에서 검색 보강 생성 모델을 사용할 때 중요한 관리 단점이 있습니다. 대규모 언어 모델의 생성 비용은 단어 단위로 계산되지만 검색 계층 - 벡터 기억, 유사도 계산, 내장 호출 -는 비용이 명시되지 않아 사용자들 사이에 불투명한 부담을 주는 문제가 발생합니다. 이러한 문제는 사용자들 사이의 비용 분배를 어렵게 만들며, 시스템의 관리를 복잡하게 합니다.

이러한 문제를 해결하기 위해 비용 지배 검색 보강 생성 아키텍처를 제시합니다. 이 아키텍처는 코드북에 무감각한 벡터 인덱스와 다중 사용자 언어 모델 관리 게이트웨이를 통합하여 내장, 검색, 생성 비용이 사용자별로 공동으로 책정할 수 있는 통합 관측 스택을 만듭니다. 이러한 아키텍처는 사용자별 비용 분배를 명확하게 하여 시스템의 관리를 간소화합니다.

비용 지배 검색 보강 생성 아키텍처의 특징

비용 지배 검색 보강 생성 아키텍처는 결정론적, 폐쇄 형식 기억 공식으로 근사적으로 사용자별 검색 비용 계산을 가능하게 합니다. 또한, 그래프 기반 인덱스에는 비선형 기억 오버헤드가 있으므로 이 속성이 없습니다. 클라우드 데이터 플랫폼의 관리 경계 내에 구현된 시스템은 높은 비용 책정 정확도를 달성하고, 텔레미터리 오버헤드는 최소화합니다.

이러한 아키텍처는 관리 벡터 데이터베이스 서비스의 가격 책정 가정에 따라 검색 인프라 비용을 줄입니다. 또한, 3층 비용 모델을 공식화하고, 코드북에 무감각한 양자화는 결정론적 사용자별 비용 책정을 가능하게 하며, 훈련된 양자화의 공유 코드북 누출 표면을 제거하는 것을 보여줍니다. 이러한 특징으로 비용 지배 검색 보강 생성 아키텍처는 다중 임대인 언어 모델 시스템에서 비용 분배를 효율적으로 관리할 수 있습니다.