추측적 macroscale 의존성 의사결정에 의한 더 빠른 도구 사용 에이전트

대규모 언어 모델(LLM) agent는 모델 추론 외에도 시리얼 행동--관찰 턴에서 wall-clock 시간을 소비합니다. 각 도구 호출, 환경 전환, 및 관찰은 다음 결정을 늦추는 데 기여할 수 있습니다. 우리는 대규모 권위자 배우자 모델이 공식 트래커리를 생성하는 두 층 구조의 agent 시스템에 대한 런타임 메커니즘인 **Speculative Macro Commit**(SMC)을 소개합니다. 더 빠른 추정 모델은 지속적으로 미래 행동 chain을 예측하고 isolated 환경 스냅샷에서 실행합니다. SMC는 교육 트레이스에서 반복되는 다중 행동 스켈레톤을 채굴하고 macro 라이브러리에 저장하여 런타임에서 drafter가 예측한 행동 chain과 일치하는지 확인합니다. 배우자의 다음 도구 호출이 첫 번째 drafted 행동과 일치할 때, SMC는 공식 트래커리에 남은 미리 실행된 draft 단계와 함께 그들의 관찰 결과를 커밋합니다. Qwen3.5-27B INT4를 권위자 배우자 모델로, Qwen3.5-4B를 추정 모델로 사용할 때, SMC는 Speculative Actions(SA) 기본값보다 10.23%의 지연 시간을 줄이며, $\tau^2$-Bench Telecom subset에서 18.59%의 지연 시간을 줄입니다. AppWorld에서, SMC는 SA 기본값보다 7.7%의 wall time를 줄이고, 시퀀셜 실행보다 44.9%의 wall time를 줄입니다. 그러나 이는 작은 작업 완료율 감소로 인해 발생합니다. SMC는 단일 단계 Speculative Actions의 지연 시간을 초과하여 multi-step Speculative Execution을 재사용하고 지연 시간을 줄이는 실용적인 방법을 제공합니다.