리더보드 너머: 대형 언어 모델 agent의 도구 사용, 계획, 논리적 오류 통합

대규모 언어 모델(LLM) 에이전트는 점점 더 자신의 도구를 사용하는 능력, 다단계 작업을 계획하는 능력, 다른 에이전트와 협력하는 능력, 그리고 장기간의 시야를 갖는 능력에 대해 평가되고 있습니다. 보고된 벤치마크 향상은 종종 다른 평가 활동에 기록된 반복적인 실패 모드를 가려두고 있습니다. 이 연구는 27개의 벤치마크, 분류, 감사 논문(2023-2026)을 종합하여 에이전트의 한계를 설명하는 교차되는 분류를 제시합니다. 그 중 19개의 distint 벤치마크가 포함되어 있습니다. 우리는 도구 사용, 계획, 장기간의 추론, 다인 협력, 안전성, 측정의 신뢰성을 통합한 단일, 일관된 분류체계인 LLM 에이전트 한계를 설명하는 최초의 통합입니다. 우리는 여섯 가지의 실패 클러스터를 발견했습니다: 1. 도구 호출 및 매개 변수 오류 2. 계획 및 제약 만족 실패 3. 장기간의 시야 감소(문맥 누적) 4. 다인 협력 실패 5. 적대적 또는 미정의 조건에서 안전성 및 보안 실패 6. 측정의 신뢰성 문제 이 분류체계는 에이전트의 추론-행동 pipe-line의 distint 단계에 해당하는 theme에 해당하는 independent하게 보고된 오류 카테고리를 그룹화하여 iteratively 도출되었습니다. 문헌을 검토한 결과, 실패가 작업 길이에 비례하여 비선형적으로 증가하고, 개별 sub-작업에서 강력한 성능이 종단 성공에 신뢰할 수 없으며, 추가적인 scaffold가 신뢰성을 일관되게 향상시키지는 않는다는 것을 발견했습니다. 한편, 단일 턴 도구 사용, 짧은 시야 웹 탐색, narrowly scoped 코딩 작업에 대한 상당한 진전이 나타났습니다.