합성 개방형 삼중 진화는 더 나은 깊은 연구자를 만든다.

인공지능이 실제 세계에서 일반 인공지능을 달성하기 위해 수행하는 facto 작업으로는 심층 연구와 agent의 진화가 있습니다. 심층 연구는 개방된 환경에서 개방된 연구 작업을 해결하기 위해 정보의 자율적 수집과 통합을 허용하는 반면, agent 시스템의 정적 매개변수 심층 연구 능력에 의해 제한됩니다. 다른 한편으로, agent는 환경과 자율적으로 상호 작용하여 경험을 얻어 모델 능력을 진화시킵니다. 그러나, 효과적인 효과가 표준적인 답변을 가지는 검증 가능한 작업에서만 널리 검증되었기 때문에, 개방된 연구 작업에 대한 격차가 있습니다. 이러한 두 가지 중요한 작업을 연결하기 위해, 우리는 Hybrid Open-Ended Tri-Evolution(HOTE) framework를 제안합니다. HOTE framework는 웹 규모의 지식을 기반으로 하여, proposer, solver 및 judge를 협력적으로 진화시켜 주는 hybrid-mode 강화 학습을 활용하여, 개방된 작업과 환경에서 자율적으로 진화하는 agent를 목표로 합니다. 세 개의 긴 형식의 심층 연구 벤치마크에서 수행된 광범위한 실험은, HOTE를 통해 8B 모델이 가장 강한 정적 개방 8-32B 모델 및 state-of-the-art 심층 연구 훈련 방법으로 훈련된 모델을 능가하는 것으로 입증하였으며, HOTE의 모든 세 가지 모듈의 진화가 필수적임을 추가로 확인하였습니다.