비주얼-어시스트드 매트릭스 문제 해결 벤치마크

시각적 도움을 받는 문제 해결

대규모 언어 모델(LLM)은 복잡한 추론 능력을 보유하고 있지만, 도구를 통해 문제를 외부화하고 도구의 출력을 바탕으로 추론할 때 성능이 저하되는 경향이 있다. 특히, 시각적 도움을 의존할 때 그렇다. 이 괴리는 실제 엔지니어링 및 과학적 워크플로가 분석, 유효성 검사 및 의사 결정에 시각화 도구를 의존하기 때문이다.

이러한 괴리를 연구하기 위해, VAMPS (Visual-Assisted Mathematical Problem Solving, 시각적 도움을 받는 수학 문제 해결)라는 그래프-assisted 수학을 위한 벤치마크가 도입되었다. VAMPS에는 다중 모드, 이란 대학 입학 시험 대수학 및 미적분학 문제를 포함한 이중 언어의 다중 선택 문제-답변 pair가 포함되어 있으며, 이 중 일부는 인간이 검토한 대규모 언어 모델(LLM)으로 생성된 합성 변형이 추가되어 있다.

벤치마크의 특징

VAMPS는 이전의 다중 모드 벤치마크와 달리, 고정된 시각적 입력에 대한 추론을 평가하는 것보다, 모델이 유용한 그래프를 생성하고 그 결과의 시각화를 바탕으로 답을 내는 능력을 테스트한다. 결과적으로, 다양한 모델을 대상으로 연구한 결과, 직접적인 분석적 해결이 도구를 통해 시각적 해결보다 의외로 성능이 좋았으며, 문제가 시각화를 자연스럽게 해결할 수 있는 경우도 그러했다.

이러한 연구 결과는 시각적 도움을 받는 문제 해결에 대한 새로운 관점을 제공하며, 대규모 언어 모델(LLM)의 성능을 향상시키기 위한 새로운 방향을 제시한다.