변형: diffusion 모델의 구성 요소 생성을 모델 내적 보상으로 개선

변형: 확산 모델의 구성 요소 생성을 모델 내적 보상으로 개선

최근 텍스트에서 이미지 생성 모델의 발전으로 인해 복잡한 조합 명령에 대한 더욱 신뢰할 수 있는 이미지 생성을 위한 테스트 시간 방법 개발이 점점 더 중요해졌다. 이러한 발전은 이미지 생성 모델의 성능을 향상시키기 위한 다양한 방법을 연구하는 계기가 되었다. 특히, 조합 텍스트에서 이미지 생성을 위한 테스트 시간 보상 조정 프레임워크가 필요해졌다.

이러한 필요성에 따라 TILT라는 조합 텍스트에서 이미지 생성을 위한 테스트 시간 보상 조정 프레임워크가 제시되었다. 이 프레임워크는 조합 실패를 이산 분포와 단일 개념 분포의 중첩 모드로 해석하고, 모든 개념이 공동으로 존재하는 샘플을 선호하는 보상을 정의한다. 이 보상은 기초 모델 내부에 존재하며, 외부 감독 또는 보상 모델이 필요하지 않다.

성능 평가

이 보상은 KL 제한 목표를 유도하고, 폐쇄형 기울어지는 표적 분포와 확립된 유도 단계를 가진 확산 샘플링을 통해 폐쇄형 정의된다. 개념 분포의 상호 작용과 위의 보상은 자연스럽게 두 가지 다른 유도 전략을 유도하며, 그들의 각각의 이점을 균형을 이루는 하이브리드 접근 방식이 더 강한 성능을 제공한다.

T2ICompBench에서 제공하는 명령에 대한 실험 결과, 우리의 방법은 이전 기준선에 비해 조합 정렬을 향상시키면서 이미지 품질을 보존한다. 이러한 결과는 이미지 생성 모델의 성능을 향상시키기 위한 테스트 시간 방법 개발의 중요성을 강조한다.