원인파악은 탐색 문제입니다: 장기적인 agent 실패의 계속적인 탐색

인공지능(AI) agent가 장기 목표를 달성하는 데 사용되는 기록의 양이 증가하고 있다. 이러한 기록 내에서 실패를 진단하는 것은 신뢰성에 필수적이기 때문에 결과 단계의 신호를 행동 가능한 조치를 변환시킨다. 이러한 데이터의 규모가 인간의 검토를 실용적으로 만들지 않기 때문에, 자동화된 원인 인식 Attribution (RCA)의 필요성이 생겼다. 그러나 대규모 언어 모델(LLM)을 사용한 자동화된 RCA 방법은, 특히 실행 추적이 더 큰 경우에 낮은 진단 정확도를 보인다. 그 이유는 관련 정보가 종종 희박하고, 거리 먼 행동에 분산되어 있고, 보이지 않는 실패와 연결되지 않기 때문이다. 따라서 원인 인식은 대규모 검색 문제로 줄어든다. 기존의 RCA 방법은 일반적으로 실행 추적에서 실패를 진단하기 위해 일회성 대규모 언어 모델 판정에 의존한다. 짧은 추적 경로에 효과적이지만, 이러한 판정은 더 긴 추적 경로에서 중요한 증거를 검토하지 않고, 합리적인 진단에 집착한다. 우리는 반복적인 프레임워크인 Continual Search를 제시한다. 이 프레임워크는 판정기에게, 성공적인 진단에 도달하기까지 계속해서 증거를 찾도록 유도한다. 우리는 Continual Search를 네 개의 기존 RCA 벤치마크에 대해 평가한다. 현재 벤치마크에서 대규모 실행 기록이 부족한 것을 인식하여, 우리는 MegaRCA-Mix라는 벤치마크를 제시한다. MegaRCA-Mix는 장기 목표를 달성하는 데 실행이 많이 필요한 작업을 수행하는 50개의 인간이 주석한 실패 시도를 포함한 어려운 테스트베드로, RCA를 대규모로 평가한다. 여러 벤치마크 세트와 모델 가족을 통틀어 Continual Search는 원인 인식 성능을 항상 향상시킨다. 예를 들어 MegaRCA-Mix에서 GPT-5.5의 F1 점수를 40% 이상 향상시켜, 0.349에서 0.498로 향상시킨다. 더 흥미롭게도, 같은 모델 가족 내에서 하위 등급 모델이 상위 등급 모델보다 더 나은 성능을 보인다. 이는 효과적인 검색이 원본 모델 규모를 능가하는 것으로 보인다.