Agent 성능 평가 생성에서 오류 편차를 완화하는 앵커

AI agent가 중요한, 장기적인 기업 업무 작업을 완료하기 시작했지만, 기업용 작업을 위한 훈련 및 평가 환경은 현실성, 검증 가능성, 규모를 균형있게 유지하는 데 어려움을 겪고 있다. 환경 및 작업 생성이 자주 artifact drift라는 실패 모드에 걸린다. 즉, 약하게 연결된 프로세스에서 지시문, 환경, 오라클, 검증기는 자주 작업이 필요한 것을について 동의하지 못하고, 불해결 가능한 환경, 보상 해킹 가능한 환경, 불일치한 환경을 만든다. 우리는 Anchor라는 작업 생성 pipe-line을 소개한다. 이 pipe-line은 도메인 전문가의 업무 흐름에 대한 명세를 제약 최적화 프로그램으로 형식화한다. 단일 매개 변수 명세에서 pipe-line은 자연어 지시문, 환경 구성, 솔버로 검증된 바닥 상태 솔루션, 상태 기반 검증기까지 함께 생성한다. Anchor를 사용하면 매개 변수를 변경하여 어려움을 제어하고 최적 솔루션을 알고 있는 새로운 작업을 생성할 수 있으며, 환경의 보상은 단지 최종 상태의 기업 정확성에 의존한다. 우리는 Anchor를 ERP-Bench라는 300개의 장기적인 작업을 생성한다. 이 작업은 구매 및 생산 workflow를 포함한 실제 ERP 시스템의 생산급 환경이다. 생성 매개 변수가 실제 어려움을 예측하고, 선두 모델이 명시적 작업 제약을 만족시키는 26.1%의 시도 중에 최적 솔루션을 찾는 17.4%의 시도만 만족시킨다는 것을 발견했다. Anchor와 ERP-Bench는 경제적으로 가치 있는 agent 작업을 위한 검증 가능한 평가 환경을 만들기 위한 구체적인 레시피를 제공한다. 우리는 task generator와 ERP-Bench dataset를 erpbench.ai에서 공개한다.