권익이 있는 지침이 맞지 않을 때: 상태가 일치하는 라우팅과 멀티 턴 에이전트의 맥락화 된 자기 분출

온라인 환경에서 다단계 agent를 학습시키기 위한 privileged on-policy distillation은 teacher가 student의 각 단계마다 training-only reference를 사용하여 response를 재점검할 수 있도록 해줍니다. 그러나 student의 이전 동작은 실행 상태를 계속해서 변경합니다. student가 다른 동작을 취하거나 subgoal을 다른 순서로 완료하면 rollout은 reference에 의해 커버되지 않는 상태에 도달할 수 있습니다. 따라서 reference는 실제로 도달한 상태에 대한 신뢰할 수 있는 안내원으로 작용하지 않습니다. 따라서 privileged distillation을 무차별적으로 적용하면 state-reference mismatch가 발생합니다. 이 불일치는 student의 현재 실행 상태와 호환되는 privileged reference guidance를 제공하는 central objective를 유도합니다. 우리는 State-Matched Routing and Contextualized Self-Distillation (SMRC-SD)을 제안합니다. SMRC-SD는 teacher가 student의 현재 실행 상태가 reference 트레일로의 어느 supported state와 일치하는지 명시적으로 확인합니다. distillation은 일치하는 상태에서만 적용되며, reference가 locally compatible guidance를 제공하지 못하는 경우에는 해당 턴을 필터링합니다. 일치하는 각 상태마다, SMRC-SD는 state-conditioned teacher context를 생성하여 supervision을 실제로 도달한 상태에 바탕으로합니다. ALFWorld와 WebShop에서 SMRC-SD는 unconditional successful full-path distillation보다 항상 우수한 성능을 보입니다. Qwen3-1.7B를 사용하면 ALFWorld에서 task success를 0.746에서 0.865로, WebShop에서 0.574에서 0.693로 개선합니다. controlled routing과 context ablation은 이러한 성능 향상에 locally supported 턴을 선택하는 것과 state-compatible teacher context를 생성하는 것의 기여를 지원합니다.