인지 파트너: 대규모 언어 모델(LLM) 에이전트의 사고 저하 감지 및 회복을 위한 가벼운 병렬 모니터링 아키텍처

인공지능 기술 블로그

대규모 언어 모델(LLM) 에이전트가 멀티 스텝 태스크에서 사고 저하, 루프, 드리프트, 고정 상태를 경험할 수 있으며, 이러한 현상은 어려운 태스크에서 30%까지 발생할 수 있다. 이러한 현상은 에이전트의 성능을 저하시키고, 에이전트가 학습하는 데 시간을 더 소요시킨다.

현재 해결책으로는 강제 단계 제한 또는 LLM-as-judge 모니터링이 있다. 강제 단계 제한은 에이전트의 성능을 저하시키고, LLM-as-judge 모니터링은 10-15%의 오버헤드를 발생시킨다.

이 연구에서는 인지 파트너(Cognitive Companion)라는 병렬 모니터링 아키텍처를 제안한다. 이 아키텍처에는 LLM 기반 파트너와 새로운 zero-overhead Probe 기반 파트너가 포함된다.

LLM 기반 파트너는 LLM의 hidden states를 사용하여 에이전트의 성능을 모니터링한다. Probe 기반 파트너는 LLM의 hidden states를 사용하여 에이전트의 성능을 모니터링한다. Probe 기반 파트너는 zero-overhead를 제공한다.

실험 결과, LLM 기반 파트너는 루프에 취약한 태스크에서 반복을 52-62% 줄일 수 있었으며, Probe 기반 파트너는 0%의 인지 오버헤드에서 평균 효과 크기가 +0.471이었다.

또한, 실험 결과, 인지 파트너의 효과는 태스크 유형에 따라 달라진다. 루프에 취약한 태스크와 열린 태스크에서 인지 파트너가 가장 효과적이었으며, 구조화된 태스크에서 효과가-neutral 또는 부정적이었다.

마지막으로, 실험 결과, 인지 파트너의 효과는 모델 크기에 따라 달라진다. 1B-1.5B 모델에서는 인지 파트너가 성능을 개선하지 못했다.

이 연구는 인지 파트너의 가능성을 제안하고, 태스크 유형에 따른 효과를 확인하고, 모델 크기에 따른 효과를 확인한다. 또한, 인지 파트너의 오버헤드를 줄일 수 있는 방법을 제안한다.