자기 최적화자로 작동하는 agent가 여러 업무를 위한 자체 진화하는 핸들

연구자들은 대규모 언어 모델(LLM) 에 대한 코드를 조정하는 방법을 연구하고 있습니다. 이 코드를 '하네스'라고 합니다. 하네스는 언어 모델 에이전트를 조직하고, 도구를 호출하고, 컨텍스트를 관리하며, 실행을 제어합니다. 언어 모델이 더 강해질수록 최근 연구에서는 에이전트가 자신의 하네스를 개선하는 방법을 연구하고 있습니다. 이 방법을 '자신이 진화하는 하네스'라고 합니다. 현재 대부분의 방법은 인간이 설계한 하네스를 사용하여 해결책의 하네스를 수정하고, 각 벤치마크마다 별도의 하네스를 진화하는 방법을 사용하고 있습니다. 하지만 실세계의 문제는 다양한 도메인에서 발생하므로, 하네스의 진화와 평가도 다양한 도메인의 문제를 포함해야 합니다. 우리는 하네스의 진화 과정을 두 단계로 나누어 보았습니다. 첫 단계는 다중 태스크 프리트레이닝이고, 두 번째 단계는 지속적인 트레이닝입니다. 시작점으로 49라인의 하네스를 사용하고, 첫 단계의 하네스는 인-디스트리뷰션 벤치마크에서 평균 점수 4.48점을 향상시키고, 아웃-오브-디스트리뷰션 벤치마크에서 평균 점수 12.64점을 향상시켰습니다. 또한 Codex를 초과했습니다. 두 번째 단계에서는 Claw-Eval이라는 아웃-오브-디스트리뷰션 벤치마크에서 계속 진화하여 점수를 66.17점에서 68.06점으로 향상시켰습니다. 이 결과는 Codex를 초과했습니다. 또한 하네스의 진화 과정에서 발생한 기계증체계를 자세히 분석하였습니다. 이 기계증체계는 출력 자르기, 역사 압축, independent review 등이 포함됩니다.