AI 에이전트의 중단 시점 결정: 감정 기반 트리거와 LLM 판정자의 한계

AI 에이전트의 중단 시점 결정 문제

AI 에이전트는 점점 더 복잡한 작업을 수행하기 위해 개발되고 있습니다. 이러한 에이전트는 안전성과 신뢰성을 높이기 위해 중단 시점을 결정하는 시스템이 필요합니다. 그러나 연구 결과, 감정 기반 트리거와 대규모 언어 모델(LLM) 판정자는 에이전트의 중단 시점을 결정하는데 실패합니다. 이러한 문제는 에이전트의 성능과 안정성을 저하할 수 있습니다.

연구 결과, 에이전트는 지속적인 어려움에 대해 회복 신호를 나타내지 않습니다. 따라서 모델된 좌절은 임계점을 초과하고 지속적으로 최대값을 유지합니다. 이로 인해 상태 임계점 트리거는 순간 감지기에서 거의 일정한 지시자로 변합니다. 이러한 트리거는 많은 액션에서 작동합니다. 또한, LLM 판정자는 에이전트의 중단 시점을 결정하는데 실패합니다. 작은 모델은 절대 작동하지 않으며, 선두 및 교차 벤더 모델은 전체 트레일로크 컨텍스트만 제공할 때만 작동합니다.

인간의 중단 지점 불일치와 해결 방안

연구 결과, 인간의 중단 지점은 불일치합니다. 훈련된 어노테이터가 한 규칙을 사용하여 중단 지점을 결정했을 때, 위치에 대한 일치도는 약간의 우세만 나타났습니다. 그러나 중단 유형에 대한 일치는 거의 나타나지 않았습니다. 이러한 문제는 중단 시점이 신뢰성이 낮은 개념임을 의미합니다. 따라서 단일 어노테이터의 성능은 최적화 대상이 아닙니다.

이 문제는 인간의 중간 일치도, 감지기 아키텍처, 대규모 언어 모델(LLM) 판정자 스위프, 그리고 재현된 효과를 포함한 공동 매핑으로 해결되었습니다. 이러한 접근법은 에이전트의 중단 시점을 더 정확하게 결정하는 데 도움이 될 수 있습니다. 또한, 에이전트의 성능과 안정성을 향상시키는 데 중요한 역할을 할 수 있습니다.