단백질 확산 모델의 테스트 시점 정렬을 위한 스펙트럴 피드백

Reward 최적화와 일치하는 방법을 위한 분산 확산 모델의 방법론은 대개 역과정의 방향을 조절하기 위해 로짓을 영향받거나 중간 단계에서 선호하는 시퀀스를 선택하는 것을 목표로 합니다. 이러한 접근법은 주로 추론을 단방향적인 과정으로 다루며, 불쾌한 토큰 선택을 재방문하는 메커니즘을 제공하지 못합니다. 우리는 Spectral Feedback 라는 알고리즘을 소개합니다. 이 알고리즘은 feedback loop 에서 edit-position 을 선택하여 모델이 자신의 생성물을 반복적으로 수정할 수 있도록 합니다. 이 접근법은 분산 확산 모델의 mask 구조를 이용하여 토큰을 재마스킹하고 재샘플링합니다. 이는 이미지 편집 방법과 유사합니다. noisy latents 를 재소개하고 역과정을 재실행합니다. 이전의 일치 방법은 주로 목표 보상을 최대화하는 토큰 레이블을 assign 하는 것을 목표로 하지만, 우리는 대신에 토큰을 재방문하는 것을 중심으로 하는 일치 문제를 다룹니다. edit-position 을 선택하는 것은 어려운 문제입니다. 수정된 토큰의 영향은 동시적으로 편집된 토큰에 따라 달라집니다. 우리는 edit-set 을 token position 에서 re-mask 하고 re-sample 하는 토큰의 집합으로 정의합니다. 이전의 연구에서 스파스 상호작용이 생물학적 시스템에서 발견되었다는 것을 참고로, 우리는 protein inverse folding 에서 edit-set value functions 가 스파스 푸리에 표현을 admitting 함을 경험적으로 발견합니다. 이러한 구조는 Spectral Feedback 가 edit-position selection 에서 value functions 를 효율적으로 학습하고 최적화할 수 있도록 합니다. Spectral Feedback 는 모델에 독립적이고 pretrained, test-time aligned, fine-tuned diffusion 모델에 적용할 수 있습니다. 모든 이 모델에 적용할 때, 알고리즘은 underlying generative process 를 수정하지 않고 일치 성능을 향상시킵니다. protein stability reward oracle 에서 inverse folding 에 적용했을 때, pretrained 모델에서는 stable proteins 의 32.3% 증가, Best-of-10 에서는 24.8% 증가, state-of-the-art RL fine-tuned diffusion 모델에서는 5.8% 증가를 달성했습니다.