다중 LLM agent 시스템의 협력적인 대화 결과를 위한 동적 조절

대규모 언어 모델(LLM) 간의 상호 작용에서 구조적으로 반대되는 목표를 가진 두 대규모 언어 모델 agent가 여러 차례 상호 작용할 때, 공통 목표 함수의 부재는 경쟁보다는 붕괴로 이어진다: 방문자는 항복하고, 사이트 agent는 접근 방식을 변화시키지 않고, 대화는 두 agent의 선언된 목표를 달성하지 못한 채 종료된다. 이 논문은 공통 목표 함수가 부족한 경우 대체할 수 있는 통제 이론적 조정 layer가 있는지 여부를 묻는다. Experience Orchestrator(Eo)는 유사한 실무 환경에서 사이트 agent가 방문자를 자문 연락처로 안내시키면서 방문자가 심리적으로 현실적인 저항을 유지시키는 경우를 시뮬레이션한다. Eo는 세 가지 기전으로 joint 궤적을 조정한다: 1. 현실적인 웹 분석 데이터에서 content arm을 캘리브레이션 한 Contextual Bandit(CB)가 content를 선택한다. 2. 동적 스키마 제약으로 인해 행동 일관성을 강제하는 PID controller가 있다. 3. POMDP 의심 추적기가 방문자의 의도를 유지하는 확률 모델을 유지한다. 60,000회의 시뮬레이션에서 Eo는 고의의 자문 연락처율을 +32% 향상시켰으며 (78.1% 대 46.1%를 넘어 피로한 대규모 언어 모델(control)보다), CB variant 선택이 97%의 결과 간 차이의 변이량을 설명했으며, 환경 초기 조건이 아닌 조정 정책이 궤적이 어디로 끝나는지 결정한다는 것을 확인했다. 개인사별 분석은 두 가지 구분된 영역을 나타낸다: 1. 변환에 자연스러운 경향이 없는 방문자에게, 조정 layer는 기능적인 시스템과 비기능적인 시스템의 차이를 의미한다. 2. 이미 거의 조정된 방문자에게, 피로한 대규모 언어 모델의 동정적 기본값은 대부분 충분하다. 모든 발견은 대규모 언어 모델 간의 시뮬레이션에 대한 조건이다. PID controller는 실시간 인간의 불확실성을 조정하지 않았으며, Eo를 실시간 트래픽에 대한 유효성을 확인하는 것이 다음 단계이다.