도구 앵커: 역대현실적 맥락을 앵커링하여 의사결정적 도구 사용 능력을 향상시키기

학습 모델이 장기적인 작업을 잘 수행하지만, 보통 고정된 도구 세트로 훈련된 후에 훈련된다. 작업이 새로운 도구를 요구할 때, 이러한-agent는 효과적으로 그들을 통합하는 데 어려움을 겪고, 다시부터 scratch로 훈련하는 것은 종종 불실천이다. 우리는 도구 세트 확장 문제의 핵심 장애물이 행동의 지구력인지를 식별한다: agent가 새로운 도구와 정립된 논리 패턴에도 불구하고, 친숙한 도구와 정립된 논리 패턴에 의존하는 경향이다. 우리는 이러한 지구력을 깨뜨리는 데 도움이 되는 counterfactual anchor contexts를 critical decision points에 주입하여 실패한 경로를 회복하고, 억압된 agent 능력을 유발한다. 이러한 통찰력을 확대하기 위해, 우리는 ToolAnchor라고 하는 framework를 제안한다. 이 framework는 teacher 모델을 사용하여 이러한 counterfactual contexts를 추측하고, 학생의 rollout를 통해 그것들을 확인하며, 성공적인 intervention을 내부화하기 위해 agentic post-training을 사용한다. 다양한 task, 즉 general AI assistant (GAIA), 텍스트 검색(BrowseComp), 그리고 시각 검색(VDR-Bench) task를 통한 광범위한 평가에서, ToolAnchor는 확장된 도구 세트 아래에서 항상 경쟁적인 성과를 나타낸다. 우리의 연구는 정적 post-training과 동적 적응 사이의 간극을 메우고, 확장 가능한 agent 적 강화 학습의 새로운 경로를 개척한다.