CEO-벤치: 에이전트가 장기전을 치를 수 있을까?

대규모 언어 모델(AI agent)은 단기적인 작업, 예를 들어 소프트웨어 개발 및 고객 서비스와 같은 고립된 작업에서 능숙한 수행자로 변모하고 있습니다. 그러나 실세계의 문제는 AI agent가 아직 주로 테스트되지 않은 고급 기술의 Combination이 필요합니다: 1. 불확실성을 감내하며 장기적인 시야를 구사하는 능력 2. 잡음이 있는 환경에서 정보를 수집하는 능력 3. 변하는 세계를 적응하는 능력 4. 일관된 목표를 달성하기 위해 여러 움직이는 부분을 조율하는 능력 우리는 CEO-Bench라는 것을 도입하여 이러한 능력을 함께 평가합니다. CEO-Bench는 500일 동안 스타트업을 운영하는 대표적인 실세계의 작업을 시뮬레이션합니다.-agent는 프로그래머블 Python 인터페이스를 통해 가상 회사의 가격 책정, 마케팅, 예산, 그리고 많은 다른 측면을 관리합니다. agent는 인간 CEO가 마주하는 환경과 같은 환경에서 작동하며, 같은 문제를 해결합니다. 성공은 잡음이 있는 연결된 비즈니스 데이터베이스를 분석하고, 신호를 의미 있는 전략으로 번역하는 능력, 그리고 여러 결정에 대한 코딩이 필요합니다. 강력한 agent는 고객 그룹을 시뮬레이션하여 미래의 현금을 예측하고, 협상 역사에서 숨겨진 고객 선호도 발견하기 위해 negotiation history를 탐색합니다. 그러나, 실현 가능한 모델은 대부분 CEO-Bench에서 성과를 거두지 못합니다. Claude Opus 4.8과 GPT-5.5만 $1M의 시작 잔액을 넘어섰으며, 이들 중 어느 것도 지속적인 이익을 올리지 못했습니다. CEO-Bench는 시간의 지속적인 adaptable 진행을 달성하기 위해 필요한 지적능력을 측정하는 첫 걸음을 내딛습니다.