건설 도면에서 다중 깊이 시각-문서적 추론을 위한 실제 세계 벤치마크: DrawingVQA

DrawingVQA라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 대규모 언어 모델(LLM)들을 실세계의 건설 도면에 대한 멀티 모달 평가에 사용하기 위해 설계되었습니다. 건설 도면은 건축, 토목, 그리고 여러 다른 공학 분야에서 핵심적인 미디어입니다. 자연 이미지나 스키마틱 플랜과 달리, 건설 도면은 추상적인 기하학, символ 표기법, 표 형식의 데이터, 주석, 그리고 특정 분야의 텍스트를 결합하여 엔지니어링 워크플로우의 핵심적인 시각적 텍스트 영역을 형성합니다. DrawingVQA는 33개의 "발행 된 건설" 도면과 92개의 전문가가 엄선한 질문-답변 pairs를 포함하여, 세 가지 추론 깊이를 커버합니다: 감각 이해, 문맥 해석, 그리고 전문가적인 추론. 모델의 능력을 평가하기 위해, 우리는 7개의 건설 엔지니어링과 4개의 대규모 언어 모델(LLM) 능력 차원에 대한 공동 분류 프레임워크를 제시합니다. 이 프레임워크는 엔지니어링 워크플로우를 AI 추론 compétence와 명시적으로 매핑합니다. 현존하는 대규모 언어 모델(LLM)의 평가 결과는, 특히 더 높은 추론 깊이에서, 모델과 전문가의 성능 사이에 큰 격차가 있음을 드러냈습니다. 이 벤치마크는 AI가 추론하는 이해와 실세계의 엔지니어링 워크플로우를 통합하는 데 대한 발전을 허용하기 위해, 도메인 특화된 멀티 모달 추론의 기반을 마련합니다.