마지막으로 बन낼 수 있는 Harness

인공지능 에이전트의 자동화

인공지능 에이전트는 점점 더 복잡한 도메인에 특화된 워크플로우에서 배치되고 있다. 이러한 워크플로우는 기업의 웹 애플리케이션을 탐색하고, 데이터를 추출하고, 합성하는 다단계 연구 파이프라인, 익숙하지 않은 저장소에서 코드 리뷰를 자동화하는 등 여러 가지 작업을 포함한다. 고객의 심각한 도메인 지식이 요구되는 고객의 프로세스 전환을 처리하는 등 각 도메인에 대한 전문가 주도적인 인프라 엔지니어링이 필요하다. 각각의 새로운 작업 도메인은 번거로운 전문가 주도적인 인프라 엔지니어링이 필요하다. 작업을 수행하는 데 필요한 프롬프트, 도구, 오케스트레이션 로직, 평가 기준을 설계한다. 이를 자동화하기 위해 두 단계의 프레임워크를 제시한다. 첫 번째 단계에서, Harness Evolution Loop는 작업자 에이전트의 인프라를 단일 작업에 최적화한다. 작업자 에이전트가 작업을 수행하고, 평가자 에이전트가 실패를 진단하고 성능을 평가하고, 진화 에이전트가 이전 시도 전체의 역사에 기반하여 인프라를 수정한다. 두 번째 단계에서, Meta-Evolution Loop는 다양한 작업에 걸쳐 진화 프로토콜 자체를 최적화한다. 새로운 작업에 대해 빠르게 인프라가 수렴하는 데에 필요한 프로토콜을 학습한다. 따라서 새로운 도메인에 에이전트를 적응시킬 때는 인간이 인프라 엔지니어링을 하지 않아도 된다. 이를 통해 수동 인프라 엔지니어링을 자동화된 인프라 엔지니어링으로 전환하고, 또 한 단계 더 나아가 자동화된 자동화의 설계를 자동화한다. 이는 인공지능 에이전트의 자동화에 큰 발전을 가져올 것으로 기대된다.