자율학습 정책 최적화에 대한 시각 피드백을 통한 코드와 시각적 장치 연결

코드 생성하는 대규모 언어 모델(LLM)은 프로그램을 작성하여 비차분 렌더러에 의해 실행되는 차트, 웹 페이지, 슬라이드와 같은 시각적 아티팩트를 생성하는 경향이 있다. 렌더링 결과를 관찰하기 전에 코드를 작성하는 것은 시각적 아티팩트의 시각적 명료한 결함을 포함하는 실행 가능한 코드를 자주 생성한다. 이 결함에는 겹치는 요소, 잘려진 텍스트, 깨진 정렬, 낮은 CONTRAST,과 OVERFLOW가 포함된다. 우리는 코드 생성된 시각적 아티팩트에 대한 시각적 피드백 자가 학습을 연구한다. 우리는 Visual-SDPO라고 하는 자가 학습 정책 최적화 프레임워크를 제안한다. 이 프레임워크는 렌더링된 시각적 피드백을 가중치 공유하는 선생과 시각적 피드백을 코드생성하는 학생에게 학습시키는 것을 포함한다. 렌더링된 시각적 피드백을 가중치 공유하는 선생에게 학습시키기 위해, 우리는 Visual-Grounded Code Credit Weighting이라고 하는 supervise를 공간적으로 목표로 하는 방법을 제안한다. 이 방법은 발견된 결함을 해당 요소에 영향을 미치는 코드 문장에 따라 추적하고 해당 문장에 학습 신호를 증폭한다. 문장 단위 GRPO(Group Relative Policy Optimization) 항목은 밀집 토큰 단위 목표를 보완한다. 이 항목은 실행 가능한 시각적으로 좋은 롤아웃을 보상하면서 실패한 실행은 학습 가능한 경로를 통해서 실행 오류를 선생에게 학습하는 것을 포함한다. 우리는 ChartMimic, Design2Code, AeSlides와 같은 차트 생성, UI 생성, 슬라이드 생성을 위한 chart-to-code, UI-to-code, slide-generation Benchmarks에 대해 Visual-SDPO를 instantiate한다. Visual-SDPO는 zero-shot base보다 10점 이상, GRPO보다 2.4점 이상 더 높은 최초의 지표에서 차트 생성, UI 생성, 슬라이드 생성 Benchmarks에서 우수한 성능을 보인다. 또한 Visual-SDPO는 GRPO보다 적은 학습 단계와 추가적인 inference-time cost가 없는 경우에 더 좋은 성능을 보인다.