대리자적 피력: 대리자가 행동하기보다 멈추어야 할 때 알 수 있을까?

대규모 언어 모델(LLM) 에이전트는 사용자의 목표를 달성하기 위해 여러 차례의 행동을 하면서 검색, 브라우징 인터페이스, 그리고 터미널 도구를 사용합니다. 그러나 모든 목표가 명확히 지정되어 있거나 사용 가능한 환경에서 달성 가능하지는 않습니다. 이런 경우 신뢰할 수 있는 에이전트는 추가적인 상호 작용이 도움이 되지 않을 것임을 인식하고 더 이상의 도구 호출을 피해야 합니다.

에이전트 멈추기 문제

에이전트 멈추기 문제, 즉 에이전트가 불확실성 아래서 행동을 멈추어야 하는 문제는 순차적인 결정 문제입니다. 에이전트는 각 차례마다 답변, 멈추기, 또는 더 많은 정보를 수집할 수 있으며 멈추는 필요성이 환경과 상호 작용한 후에만 명확해질 수 있습니다. 다양한 환경에서 이 문제를 연구한 결과, 에이전트 멈추기의 주요 과제가 단지 에이전트가 멈추기할 수 있는지 여부가 아니라 멈추는 시기를 결정하는 것임을 보여주고 있습니다. 에이전트는 때때로 멈추기해야 할 때 멈추지 않으면서 다른 에이전트는 불필요한 상호 작용이 많아 멈추는 시기가 늦어집니다. 특히, 지시가 환경이 노출될 때까지 달성 가능해 보이지만 지시와 일치하는 유효한 결과가 없는 작업에서는 이러한 차이가 더욱 크게 나타납니다. 또한, 모델 규모, 추론, 그리고 에이전트 스캐폴딩이 멈추기에 다른 방식으로 영향을 미친다는 것을 발견하였습니다. 더 큰 또는 더 능숙한 모델은 때때로 적절한 멈추기에 더 나쁜 성능을 나타낼 수 있습니다. CONVOLVE라는 컨텍스트 엔지니어링 방법을 통해 전체 상호 작용 경로를 재사용 가능한 멈추기 규칙으로 추출할 수 있습니다. 이 방법은 모델 파라미터를 업데이트하지 않고도 적절한 멈추기를 크게 향상시킵니다. 이러한 연구 결과는 에이전트가 사용자와의 상호 작용에서 더 신뢰할 수 있고 효율적인 대처를 제공하는 데 도움이 될 수 있을 것입니다.