테이블에서 멀티모달 보고서 생성을 위한 몬테 카를로树 탐색

테이블에서 멀티모달 보고서 생성 문제

데이터 지능의 중요한 문제 중 하나는 구조화된 표 데이터에서부터 BOTH 텍스트 분석과 시각화 차트를 포함하는 전문적인 멀티모달 보고서를 자동으로 생성하는 것입니다. 하지만 현재 방법론은 고정된 선형 PIPELINE과 분리된 SUBTASK PROCESSING으로 인해 사실의 정확도, 시각적 품질, 그리고 논리적 일관성을 동시에 최적화하는 것을 방해하고 있습니다.

이러한 문제를 해결하기 위해, 새로운 프레임워크가 제안되었습니다. 이 프레임워크는 Monte Carlo Tree Search(MCTS)로 구동되는 프레임워크로, 구조화된 검색 공간에서 멀티모달 표-보고서 생성을 순차적 생성 프로세스로 정의합니다. 보고서 생성을 원자 액션으로 분해하고, 각 액션은 구조화된 보고서 상태에 대한 동적 사고에 기반하여 대규모 언어 모델(LLM)으로 실행되도록합니다.

프레임워크의 특징

이 프레임워크는 MCTS에서 step-by-step 사고와 액션을 LLM으로 생성하고, 각 노드에 사고 경로를 저장하여, 컨텍스트에 대한 통찰력 있는 보고서 생성을 가능하게합니다. 또한, 검색을 안내하기 위해, 다차원 보상 함수를 설계하여, SQL을 통해 숫자적 사실 일관성, 차트 품질, 차트-텍스트 일치, 그리고 구조적 완전성을 동시에 평가합니다.

또한, 반복되는 차트를 억제하고, 유효하지 않은 액션을 제거하기 위해 다양성 페널티와 사전 조건 검사를 포함합니다. 이러한 기능들은 프레임워크가 높은 품질의 멀티모달 보고서를 생성할 수 있도록 합니다.

이 프레임워크의 성능을 평가하기 위해, 광범위한 벤치마크인 MMRBench가 구축되었습니다. MMRBench는 여섯 개의 도메인에서부터 실제 표 데이터를 포함하며, 전문가들이 정제한 참조 보고서 구조와 검증 가능한 주요 통찰력을 포함합니다. 이 벤치마크에서 실험을 통해, 프레임워크는 강력한 베이스라인을 능가하여, 구조적 완전성, 숫자적 정확도, 차트-텍스트 일치, 그리고 통찰력 있는 새로운 내용을 달성하는 높은 평균 점수를 얻었습니다.