표준화된 표 질문 답변을 위한 멀티모달 사고 최적화: TABQAWORLD

멀티모달 사고는 [대규모 언어 모델(LLM)]의 사고 능력을 향상시키기 위해 출현한 강력한 프레임워크입니다. 다중 회전 표 사고 방법은 도구 사용과 보상 모델링을 통해 사고 정확성을 향상시켰지만, 표의 상태를 읽어내는 데 있어 고정 텍스트 serialize을 사용하여 오류를 유발합니다. 이러한 오류는 다중 회전 표의 표현 오류가 쌓이게 되며, 이는 실제-world 배포에 있어 impractical합니다. 이러한 문제를 해결하기 위해, 우리는 표의 동작을 jointly optimize하는 프레임워크인 TABQAWORLD을 소개합니다.

TABQAWORLD은 표의 상태를 읽어내는 데 있어 텍스트 serialize의 오류를 줄이며, inference compute와 cost를 줄입니다. TABQAWORLD은 표의 동작을 jointly optimize하는 프레임워크로, representation과 estimation을 동시에 최적화합니다. representation에서, TABQAWORLD은 action-conditioned multimodal selection policy를 사용하여, 표의 상태를 읽어내는 데 있어 visual과 textual representation을 동적으로 전환하여, 표의 상태를 읽어내는 데 있어 reliability를 최대화합니다. estimation에서, TABQAWORLD은 표의 metadata를 사용하여, stepwise reasoning trajectory를 optimize합니다. 표의 metadata는 dimension, data types, key values를 포함하며, trajectory를 안전하게 계획하고, low-complexity actions를 압축하여, conversation turns와 latency를 줄입니다.

TABQAWORLD은 training-free framework로, empirical evaluations를 통해, state-of-the-art performance를 달성하며, 4.87% accuracy improvements를 달성합니다. TABQAWORLD은 static settings에 비해, 5.42% accuracy gain과 33.35% inference latency reduction을 달성합니다.