진화하는 agent 하네스 만들기: 가독성, 탐색성, 편집성이 좋은 하네스 제작을 위한 가이드

인공지능 agent의 기능과 조작 장치

현대 인공지능(AI) agent의 기능은 모델의 기초 뿐만 아니라 그에 대한 조작 장치(harness)에도 의존한다. 조작 장치는 프롬프트를 생성하고 관리하며 도구를 호출하고 실행을 조정한다. 모델, API, 환경 및 요구 사항이 발전함에 따라 조작 장치는 끊임없이 수정되어야 한다. 이 수정을 하기 전에 개발자 또는 코딩 agent는 목표 동작을 implement하는 모든 코드 위치를 식별해야 한다. 그러나 이 작업은 생산 환경의 조작 장치가 크고 밀접하게 연결되어 있으며 행동적으로 분산되어 있기 때문에 어려운 일이다. 수정 요청은 시스템이 해야 할 일을 설명하며, 저장소는 파일 및 모듈에 따라 организ되어 있다. 코드 검색, 저장소 인덱싱 및 긴 문맥 처리는 검토를 용이하게 하지만 여전히 이 행동-코드 매핑을 수동으로 복원해야 한다. 행동 지역화는 따라서 조작 장치의 진화의 중심적인 걸림돌이다.

Harness Handbook과 Behavior-Guided Progressive Disclosure

이러한 문제를 해결하기 위해 우리는 Harness Handbook을 제시한다. 이는 자동적으로 정적 분석과 대규모 언어 모델(LLM)-assisted structuring을 통해 조작 장치 코드베이스에서 동작 중심의 표현을 생성한다. 각 동작은 해당 소스와 연결된다. 또한 우리는 Behavior-Guided Progressive Disclosure (BGPD)를 제시한다. BGPD는 고급 동작부터 관련 구현 세부 정보까지 agent를 안내하며, 현재 소스와 후보 위치를 검증한다. 두 개의 오픈 소스 조작 장치에서 다양한 수정 요청을 적용한 결과, Handbook-Assisted planning은 행동 지역화와 편집 계획의 품질을 향상시키며, 계획자 토큰을 사용하는 횟수를 줄인다. 가장 큰 이익은 산재된 사이트, 적게 실행되는 경로 및 모듈 간 상호 작용에서 나타난다. 복잡한 인격 시스템의 진화는 단순히 편집을 생성하는 것 뿐만 아니라, 그 편집이 어디에서 이루어져야 하는지 결정하는 것에도 의존한다. 이러한 기술을 통해 개발자와 코딩 agent는 더 효율적이고 효과적으로 조작 장치를 수정하고 발전시킬 수 있다.