자기진화 LLM agent의 진화 가능성 능력을 분리하는 것: 하네스 업데이트가 하네스 이익이 아님

자기진화 인공지능 에이전트의 능력 분리

대규모 인공지능 모델 에이전트는 점점 더 편집 가능한 외부 장치인 지시문, 기술, 기억, 도구와 같은 편집 가능한 외부 장치로 구성된 시스템으로 구축되고 있습니다. 이들 장치가 모델 매개 변수를 변경하지 않고 작업 수행을 조절합니다. 장치 자기 진화는 이러한 에이전트를 실행 증거를 통해 이러한 장치를 업데이트하여 적응합니다. 그러나 모델의 기본 작업 수행 능력은 장치 자기 진화의 능력에 예측할 수 있는지 여부가 불분명합니다. 장치 자기 진화 능력에 대한 분석을 수행한 결과, 두 가지 발견이 있습니다. 첫째, 장치 업데이트 능력은 기본 능력에 평평습니다: 다루기 능력 수준이 다른 모델은 놀랍게도 유사한 이익을 제공하는 장치 업데이트 생성을 수행합니다. 둘째, 장치 이익 능력은 기본 능력에 비례하지 않습니다: 약한 능력 수준의 모델은 업데이트된 장치에서 거의 이익을 얻지 못하고, 중간 능력 수준의 모델은 가장 이익을 얻으며, 강한 능력 수준의 모델은 중간 능력 수준보다 이익을 얻지 못합니다.

분석 결과와 제안

약한 능력 수준의 모델에서 낮은 이익을 얻는 이유를 분석한 결과 약한 능력 수준의 모델은 관련 장치 요소를 활성화하지 못하거나, 활성화한 경우 이를 신뢰성 있게 따르지 못하는 두 가지 실패 모드가 있습니다. 이러한 발견은 에이전트를 대신하여 진화자를 개발하는 대신에 작업 수행 에이전트의 능력 예산을 투자하고 에이전트 교육에서 장치 호출과 장거리 지시문 따르기에 중점을 두는 것이 좋다는 것을 제안합니다. 이는 대규모 인공지능 모델 에이전트의 능력 개발에 중요한 시사점을 제공합니다.