빠른 모델, 느린 증거: System-1 결정 모델의 pair 및 self-audited 평가

대규모 언어 모델(LLM) agent harnesses는 작은 sized, typed 의사결정을 여러 번 수행합니다. 이러한 결정에는 모델을 호출하는 것, 도구를 사용하는 것, 검색된 텍스트가 관련성이 있는지 여부, 입력이 주입이 있는지 여부와 같은 것들이 포함됩니다. System-1 결정 모델은 이러한 질문에 대해 한 번의 전방 패스에서 클래스 확률을 사용하여 대규모 비용과 지연 시간을 절약할 수 있는 약속을 합니다.

우리는 open-weight (Laya)와 hosted (Jev) System-1 모델의 pair evaluation을 수행하였습니다. 11개의 agent 결정 점을 빌드하여 18개의 공개 자원에서 7,283개의 base case와 6,640개의 robustness variant를 사용하였습니다. pair tests와 cross-hardware와 cross-day reproducibility checks를 수행하였습니다.

결과적으로, Jev는 9개의 11개의 결정 점에서 Laya보다 정확도가 높았습니다. (+10.8 to +46.0 pp). 하지만, 두 모델 모두 zero-shot model routing에서 chance를 넘지 못하였고, RAG relevance gating에서는 동등한 결과를 나타났습니다.

또한, 우리는 우리 자신의 pipeline을 ауд이트하였습니다. 세 가지 분석 오류와 하나의 설계 오류가 헤드라인 배포 선언을 왜곡하였습니다. omitted pre-screen cost, gate accuracy가 end-to-end quality로 보고되었으며, in-sample thresholds와