시각-언어 합성 reasoning에서 좋은 시각 또는 좋은 생각?

시각-언어 모델(Vision-Language Models, VLMs)에서 강력한 시각-논리 동기화를 달성하는 것이 고급 VLM의 중심 목표입니다. 최근 연구는 이 목표를 달성하기 위해 아키텍처 디자인이나 주체적 워크플로우를 사용했습니다. 그러나 이러한 접근 방식은 종종 정적 텍스트 논리나 외부 주체적 복잡성의重大 계산 및 엔지니어링 부담으로 복잡해집니다. 더 나쁜 것은, 이러한 큰 투자가 비례하는 성과를 제공하지 않으며, 종종 "이상의 효과"를 보는 경우가 있습니다. 이는 시각-논리 동기화에 대한 진정한 병목 현상을 재고하는 데 동기를 부여합니다. 이 논문에서, 우리는 시각-논리 동기화에 대한 이 상호 작용의 근본 원인이 모달리티 크레딧 할당의 모호성이라는 것을 주장합니다: VLM이 실패할 때, 이는 시각적 오류("시각적 오류") 또는 논리적 오류("논리적 오류")로 인한 것일까요? 이를 해결하기 위해, 우리는 시각적 신뢰성을 신뢰할 수 있도록 보상하는 강화 학습 프레임워크를 소개합니다. 우리는 생성 프로세스를 시각적 단계와 논리적 단계로 분리하여 조합합니다. 이 분리는 시각에 대한 표적 감독을 허용합니다. 중요한 것은, 우리는 시각적 신뢰성을 논리적 결과와 독립적으로 보상하기 위해 "눈을 감은 논리" 프록시를 사용하여 시각 검증(PV)을 소개합니다. 또한, 자유 형식 VL 과제에 대한 훈련을 확장하기 위해, 우리는 구조화된 말하기 검증을 제안하여, 고 변동성 LLM 판단을 구조화된 알고리즘 실행으로 대체합니다. 이러한 기술은 모달리티 인지 크레딧 할당(MoCA) 메커니즘에 통합됩니다. 이는 오류의 특정 원인 - 시각적 오류 또는 논리적 오류 -에 보상을 라우팅하여, 단일 VLM이 광범위한 작업 스펙트럼에서 동시에 성과를 개선할 수 있습니다.