행동하기 전에 선택하기: 장기적인 도구 사용 요소에 대한 상대적 가치 추정

대규모 언어 모델(LLM)은 복잡한 작업을 수행할 때 장거리 도구 호출 시퀀스에 의존하는데, 각 호출은 작업 상태를 변경하고 다음 결정에 영향을 줄 수 있다. 장거리 도구 사용 시, 최종 결과 보상을 통해 장기적인 상호 작용 트레이스에 대한 약한 신뢰할 수 있는 할당이 제공되지만, 단계별 보상은 더 표적화된 피드백을 제공할 수 있다. 그러나 신뢰할 수 있는 단계별 감독을 얻기 위해 종종 인간 또는 LLM 판단이 필요하거나, 추가 롤아웃을 통해 중간 결정의 하류 효과를 추정해야 한다. 이 논문에서는 효과적인 도구 사용_AGENT가 실제로 수행되지 않은 다음 도구 호출의 장거리 가치를 추정하기 전에 실행하기 전에 해야 할 목표를 주장한다. 이 목표는 동일한 맥락에서 대안 호출에 대한 비교 감독이 필요하다. 그러나 로그드 트레이스에는 실제로 취한 호출만 포함되어 있기 때문에. 따라서, 우리는 비교적 도구 사용_AGENT(CITA) 제안한다. CITA는 관찰된 도구 행동, 스케일러블 감독을 제공하는 bayesian 도구 그래프 시뮬레이터 및 LLM 기반 비교의 의미적 판단을 결합한 paired 신호에서 Comparative Inference Model(CIM)을 학습시킨다. CIM은 현재 맥락에서 최종 작업 성공을 지원하는 다음 도구 호출의 가능성을 얼마나 높이는지 학습한다. 세 가지 도구 사용 벤치마크와 여러 백본 LLM에서 CITA는 도구 F1 및 작업 성공을 지속적으로 향상시켰다. 추가 분석은 CIM이 비교적 도구 선택의 단계별 가치 추정에 정확한 가치를 학습한다는 것을 보여준다.