임베딩 전처리 없이 언어 모델의 자기 개선

RLVR(Reward Verifiable Reinforcement Learning)와 최근에 개발된 SDPO(self-distillation-based policy optimization)와 같은 기술은 각 에피소드에 대한 검증자와의 비교를 통해 정책을 업데이트합니다. 하지만 에피소드 내의 richer 절차 정보는 거의 보존되거나 재사용되지 않습니다. 에피소드와 에포크를 거치면서 모델은 정책이 변하는 동안 관련 문제를 반복적으로 만나고, 에피소드-지역 업데이트가 캡처할 수 없는 cross-episode 신호를 생성합니다: 어떤 전략이 검증을 통과하는지, 어떤 실패 모드가 지속되는지, 어떤 패턴이 반복되는지. 우리는 Procedural Memory Distillation(PMD)이라는 새로운 기술을 제안합니다. 이 기술은 cross-episode 신호를 재사용 가능한 절차 기억으로 변환하고, 학습 중에 정책의 가중치에 distill합니다. 이 기억은 inference 시에 정책 자체에 흡수된 training scaffold로 작동합니다. PMD는 절차 기억을 세 가지 추상화 수준으로 조직합니다: raw trajectories, self-reflected strategies and lessons, higher-level behavioral patterns. 이 모든 추상화 수준은 모델의 자체 경로에서 online으로 추출됩니다. 이 기술은 memory-conditioned self-teacher를 사용하여 accumulated 경험을 기반으로 student를 감독합니다. student는 own rollouts에서 progressively internalize 절차적인 지식을 parameter 내에. 중앙 디자인 원칙은 co-evolution입니다: 정책은 memory를 업데이트하기 위해 rollout을 생성하고, memory는 정책을 업데이트하기 위한 supervision을 형성합니다. 실제 실험 결과, PMD는 Qwen3-8B와 OLMo3-Instruct-7B에서 SCIKNOWEVAL에서 SDPO보다 3.8-5.5% 향상되었으며, LIVECODEBENCH에서 7.9-13.6% 향상되었습니다. co-evolution이 이 gain을 가능하게 합니다: memory 또는 policy를 동결하면 PMD보다 10% 이상 떨어지는 SCIKNOWEVAL 도메인에서 발생합니다.