본문으로 건너뛰기

MAVEN: 의사소통 도구의 일반화 향상

AI 자동 생성

대인간 논리 시스템의 신뢰성을 높이는 데 있어, 도구 호출 환경 간 일반화가 큰 과제로 남아 있다. 개별 벤치마크에서 강력한 결과를 달성하는 대규모 언어 모델(LLM)도, 논리 전략의 조합, 중간 상태의 보존, 도메인 간 도구의 조정 등에 대한 능력은 여전히 미흡하다. 우리는 MAVEN(Modular Agentic Verification and Execution Network)이라고 하는 가벼운 Symbolic Reasoning scaffold를 제시한다. 이 scaffold는 구조화된 분해, 적응적 도구 조정, 중간 검증을 위한 모듈식 인공 지능 검증 및 실행 네트워크이다. 우리는 MAVEN을 established tool-calling benchmarks인 BFCL v3, TauBench, Tau2Bench, AceBench에 대해 평가하고, MAVEN-Bench라는 multi-step 수학적 및 물리적 논리와 explicit verification 및 adversarial task composition을 포함하는 stress-test 벤치마크를 소개한다. MAVEN-Bench는 partial reasoning quality와 end-to-end task success 사이에 크게 있는 격차를 드러낸다. MAVEN은 GPT-OSS-120b base model에 비해 48%에서 71%의 정확도 향상을 달성했으며, 추가 학습 없이 MAVEN-Bench에서 직접 실행한 결과이다. 또한 MAVEN은 Frontier proprietary baseline과 경쟁력을 유지하면서, open-weight backbone을 사용하여 약 1/10의 비용비율을 달성했다. 이는 가벼운 verification-centered scaffold가 compositional reasoning을 강화하고, agent의 process-aware evaluation을 유도할 수 있음을 시사한다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

에이전트 18시간 전

Meta의 영감은 OpenAI와 Anthropic에서 본격적으로 빛나는 AI를 훔쳤습니다.

AI 리더들이 OpenAI와 Anthropic에서 "선도 경계를 맞춰가기"라는 주제로 논의를 시작했을 때, 누군가는 "어느 속도로?"라는 질문을 해야 했을 수도 있었다. 이제는 두 회사가 모두 모델을 출시하는 모델 출시 주간이 되었는데, Anthropic이 Opus 5.5을 출시한 후 OpenAI가 GPT-6 모델 업데이트를 90분만에 출시했다. 그러나 스포트라이트를 잡은 것은 Meta 였는

에이전트 2일 전

강화 학습 기반 역할 놀이 에이전트의 역할 학습을 위한 적대적 폐쇄 루프 교육과정

역할 연기하는 agent는 대규모 언어 모델을 기반으로 한 것들이 개인화된 지원 및 사회 시뮬레이션과 같은 분야에서 광범위하게 적용되어 왔다. 최근 RL 방법들은 학습이 시작되기 전에 미리 수집한 고정된 시나리오 풀에서 훈련을 받는다. 이로 인해 분포적 병목 현상이 발생한다: agent가 향상될수록 agent가 나쁜 성능을 보이는 시나리오도 변하고, 훈련 분포는 정적이다. 따라서, 우리는 역

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.