본문으로 건너뛰기

To Isolate or to Score? Model-Adaptive Assessment for Cost-Efficient Multi-Agent RAG

AI 자동 생성

arXiv:2606.25191v1 Announce Type: new Abstract: Multi-agent document assessment for retrieval-augmented generation is computationally expensive, driving practitioners toward smaller, deployable models whose assessment mechanisms remain poorly understood. We conduct a controlled study of training-free interventions on 7B-9B instruction-tuned models across diverse QA benchmarks, revealing a sharp dichotomy in how models benefit from assessment. For weaker baselines, the dominant mechanism is per-document isolation. Astoundingly, assessment-free isolation matches full multi-agent assessment, demonstrating that resolving multi-document context confusion, rather than scoring quality, drives outsized gains of up to 50 percentage points. Conversely, for strong baselines where scoring quality matters, we introduce Reasoning-Score Coupling, a label-free perturbation probe that classifies scoring behavior. Integrating these findings, we propose MADARA, a model-adaptive routing architecture. Crucially, MADARA's diagnostic thresholds derived from a single pilot model generalize zero-shot to four unseen model families, providing a robust, lightweight pipeline to eliminate computational overhead.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

에이전트 10시간 전

크리스탈 플라스틱성 시뮬레이션 워크플로우를 위한 하네스 엔지니어링된 agent: CP-Agent

금속의 기계적 성질을 예측하는 결정성 플라스틱성(Crystal Plasticity, CP) 시뮬레이션은 아직도 실질적인 사용을 방해하는 한계를 가지고 있다. CP 시뮬레이션을 구동하는 데 필요한 다양한 도구의 설정, 다단계 데이터 PIPE라인의 조율, 실험 데이터와의 상수 매개변수 조정 등이 모두 수동으로 진행되는 것이 문제다. 이러한 장애물은 체계적인 매개변수 연구의 생산성을 저해하고 있다

에이전트 10시간 전

SMARtCARE: 개인정보 보호를 보장하는 한계 자율성을 가진 임상 의사결정 지원을 위한 의사결정 AI 시스템

ICU 모니터링에서 긴문맥 클리니컬 AI 시스템은 이전 입원 기록이 현재 논리적 추론 문맥 바깥에 있을 때 관련된 환자 역사를 놓치칠 수 있다. 이로 인해 초기 생명 징후의 유실이 이전 악화 패턴을 닮아도 비특이적처럼 보일 수 있다. SMARtCARE는 이러한 단점을 메우기 위해 Stable, Meta-cognitive, Assisted, and Regulated(Revoked)라는 네 가지

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.