문서 AI를 운영화하는 방법: OCR 및 LLM 파이프라인을 프로덕션에서 운영하는 마이크로서비스 아키텍처

문서 이해를 위한 새로운 모델을 연구하는 학술 연구는 모델 정의와 생산 규모에서 모델을 실행하는 격차를 메우기 위해 소프트웨어 구성 요소를 작은 서비스로 나누어 관리하는 아키텍처를 제시합니다. 이 아키텍처는 분류, 문자 인식, 대규모 언어 모델 파이프라인을 포함합니다. 이러한 아키텍처를 실제 서비스에서 운영하면서 우리의 경험을 공유합니다. 문서 인공지능을 실제 서비스에 적용하는 방법은 모델을 실제 서비스에서 효과적으로 운영하는 데 필요한 아키텍처 패턴을 제공하는 것입니다.

아키텍처 설계

우리의 주요 설계 결정은 혼합 분류, 그래픽 처리 장치 계산과 중앙 처리 장치 계산의 분리, 입출력 연산의 많은 처리를 위해 비동기 처리를 사용하는 것입니다. 이러한 설계 결정은 시스템의 효율성과 확장성을 향상시키기 위해 중요합니다. 또한, 일괄 처리 프로파일링을 사용하여 시스템의 성능을 분석하고, 지연 시간과 동시성을 최적화할 수 있습니다. 우리의 아키텍처는 독립적, 수평적 확장을 지원합니다. 이는 시스템을 독립적으로 확장하여 수평적으로 확장할 수 있음을 의미합니다. 이러한 확장성은 대규모 문서 처리를 위한 확장 가능한 시스템을 구축하는 데 필요합니다. 또한, 우리의 아키텍처는 문자 인식, 언어 모델 파싱보다 전체 시스템의 지연 시간을 결정하는 것이며, 시스템은 공유 그래픽 처리 장치 계산 용량에 의해 결정되는 동시성에 의해 포화되는 것이 아니라, 작업자 수에 의해 포화되는 것을 발견했습니다. 이러한 발견은 시스템의 성능을 최적화하고, 확장성을 향상시키는 데 중요한 역할을 합니다. 문서 인공지능을 실제 서비스에 적용하는 방법은 이러한 아키텍처 패턴을 제공하여 모델을 실제 서비스에서 효과적으로 운영하는 데 필요한 지침을 제공합니다. 이는 문서 이해를 위한 새로운 모델을 연구하는 학술 연구와 산업에서의 실제 적용을 연결하는 데 중요한 역할을 합니다.