오픈스킬: 오픈월드 자가 진화기능을 위한 LLM agent

Self-evolving agent는 배포 후 적응이 필요하지만 기존 접근법은 사용 가능한 학습 루프를 가정합니다. 예를 들어, 가르친 기술, 성공적인 경로, 또는 검증기 신호 등이 있습니다. 그러나 실제-world 배포는 이러한 것 중 하나도 제공하지 않을 수 있습니다. 그 대신, 작업 지시만 제공합니다. 이 연구에서는 agent가 지시만으로 스스로 기술과 검증 신호를 학습하는 open-world self-evolution을 연구합니다. 이는 open-world 자원만 사용하고 목표 작업 감독은 제공하지 않습니다. 우리는 OpenSkill framework를 제안합니다. 이는 문서, 저장소, 웹에서 grounded 지식과 verification anchor를 획득하고, 이를 transferable 기술로 합성하고, anchor에 기반한 self-built 가상 작업에 기술을 개선합니다. open world는 학습할 지식과 감독 독립적인 훈련 환경을 제공하며, 최종 평가에서만 목표 작업 감독을 사용합니다. 세 가지 벤치마크와 두 가지 목표 agent에서 OpenSkill은 자동화된 통과율을 달성하며, 감독 제약을 만족시키는 가장 좋은 결과를 보여줍니다. 분석 결과, 모델별 적응 없이 기술이 모델 간에 전이되며, ground-truth 결과와 일치하는 self-built verifier가 생성됩니다.