대규모 언어 모델(LLM) 에이전트의 능력 최적화: 몬테 카를로 트리 탐색을 이용한 이중 최적화

대규모 언어 모델(LLM) 에이전트의 능력 최적화

대규모 언어 모델(LLM) 에이전트의 능력은 특정 종류의 작업을 수행하는 데 도움이 되는 구조화된 지침, 도구 및 지원 자원으로 구성됩니다. 연구 결과에 따르면 능력의 설계가 에이전트 작업 성능에 영향을 미칠 수 있지만 능력의 시스템적인 최적화는 어려운 문제입니다.

능력은 지침, 도구 및 지원 자원으로 구성된 구조화된 방식으로 구성되기 때문에 이 능력을 최적화하려면 이 구성 요소의 구조와 각 구성 요소의 내용을 동시에 결정해야 합니다. 이로 인해 구조와 구성 요소 간 강한 상호 의존성이 있는 복잡한 결정 공간이 발생합니다.

이중 최적화 프레임워크

이중 최적화 프레임워크를 제안하고, 외부 루프에서 몬테 카를로 트리 탐색을 사용하여 능력의 구조를 결정하고, 내부 루프에서 선택된 구조 내에서 구성 요소의 내용을 세부화합니다. 부트 루프에서 LLM을 사용하여 최적화 절차를 지원합니다.

실험 결과

이 프레임워크를 개방 소스 운영 연구 질문 답변 데이터 세트에 적용하고, 실험 결과는 에이전트의 성능을 개선하는 capability의 최적화 프레임워크가 효과적임을 시사합니다.

• 능력의 최적화 프레임워크는 에이전트의 성능을 개선하는 데 도움이 됩니다.
• 몬테 카를로 트리 탐색을 사용하여 능력의 구조를 결정하는 것이 효과적입니다.
• LLM을 사용하여 최적화 절차를 지원하는 것이 도움이 됩니다.