AuditRepairBench: 에이전트 수리 평가자 채널 순위 불안정성에 대한 페어링된 실행 트레이스 코퍼스
대리자 복구(AGENT REPAIR) 리더보드가 평가자 재구성(EVALUATOR RECONFIGURATION)으로 인해 순위를 바꾸고, 내부 후보 복구 방법이 평가자 정보를 참조하여 내부 선택을 할 때 생산되는 순위 안정성-instability의 측정 가능한 비율을 문서화한다. 또한 대리자 복구 벤치(AuditRepairBench)라는 쌍된 실행 추적 corpuses를 96,000개의 실행된 셀(576,000의 등록된 셀)로 정의한다. 이 corpuses는 선언된 관찰 가능성 경계 내에서 평가자
AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair
대리자 복구(AGENT REPAIR) 리더보드가 평가자 재구성(EVALUATOR RECONFIGURATION)으로 인해 순위를 바꾸고, 내부 후보 복구 방법이 평가자 정보를 참조하여 내부 선택을 할 때 생산되는 순위 안정성-instability의 측정 가능한 비율을 문서화한다. 또한 대리자 복구 벤치(AuditRepairBench)라는 쌍된 실행 추적 corpuses를 96,000개의 실행된 셀(576,000의 등록된 셀)로 정의한다. 이 corpuses는 선언된 관찰 가능성 경계 내에서 평가자 채널 차단 랭킹 불안정성을 operationalize한다. 모듈식 스크리닝 아키텍처는 네 가지 교환 가능한 구현체를 통해 경로 차단을 결정한다. 그 중 하나는 학습된 영향 프록시, 다른 하나는 규칙 기반 채널 노출 비율(학습된 모델을 사용하지 않음), 다른 하나는 카운터팩트럴 감수성 프록시, 마지막 하나는 희소 인간 감사 프록시이다. 이들은 스크리닝 포스터에 결합되어 셀 수준의 플립 기능, 셀 수준의 레이블, 계층화된 시스템 점수, 셀 수준의 리더보드를 생성한다.
대리자 복구 벤치의 지원은 80개의 원소 수준 채널 수술 부분에 대한 기계주의 정당화에 의해 뒷받침된다. 이 부분은 독립적 발견 프로토콜의 하위 집합으로, 파이프 라인 개발자와 분리된 두 개의 어노테이터 그룹이 스크리닝 디자인과 동결된 앙상블에 대해 모르는 채로 결합 패턴을 발견한다. 이 두 그룹의 79개의 사례에서 동결된 앙상블은 0.83의 풀드 AUROC를 달성한다.
스크리닝에 의해 가려진 패치로 랭크 이동을 55-74% (평균 62%) 줄일 수 있으며 50줄 이하의 코드로 랭크 이동을 줄일 수 있다. 반면, 무작위 채널 블라인드가 7% 이하의 감소만을 유도하고 일반적인 재학습은 13% 이하의 감소만을 유도한다.
대리자 복구 벤치 라이트(AuditRepairBench-Lite)는 12,000 셀의 부분집합에서 규칙만을 사용하는 구성으로 Kendall \tau = 0.88의 리더보드를 유지한다. 이 구성은 24 GPU 시간 이내에 42 GB의 대리자 복구 벤치의 주요 릴리스 아티팩트이다.
함께 읽으면 좋은 기사
미래의 직업: 우주여행 대행사
로만 치포루카(Roman Chiporukha)는 오랜 시간 동안 야생 여행의 꿈을 현실로 만드는 것을 전문으로 해왔습니다. 그는 20년 동안 럭셔리 라이프 스타일 회사 로만 & 에리카(Roman & Erica)의 공동 대표로 일하면서, 고객의 초고급 요트를 건축하는 것부터 bahamas에서 인원이 적은 위치로 여행을 가는 것까지 모든 것을 조율해 왔습니다. 이러한 경험들은 ihm을 "…
아스트라제네카의 연구 보조원: 연구개발을 위한 인공지능 시스템
아스트라제네카는 대규모 언어 모델(LLM)을 기반으로 한 내부 시스템인 연구 보조원을 개발하여 의사 및 연구원들이 광범위한 데이터 소스에 걸쳐 의학적 질문을 탐색하는 데 도움을 주고자 합니다. 이 시스템은 과학 문헌, 지식 그래프, 화학, 임상 시험, 안전 자원, 표현 데이터 및 내부 실험 시스템과 같은 다양한 데이터 소스에서 증거를 통합하는 채팅 스타일 인터페이스를 제공합니다.
모바일 에지 컴퓨팅에서 스트리밍 처리를 위한 LLM-assisted 계약 네트워크 협상으로 지원하는 다원 소프트웨어 스케줄링
다양한 휴대용 에지-클라우드 인프라스트럭처에서 운영되는 스트리밍 처리 시스템은 작업 부하의 불안정성, 자원 경쟁, 엄격한 서비스 품질(QoS) 요구 사항 등으로 분산 스케줄링이 복잡해지고 있습니다. 이 논문은 분산 스케줄링의 복잡성을 해결하기 위해 MAS-DecStream이라는 시스템을 제안하고 있습니다. 이 시스템의 주된 기여는 LLM-MR-CNP입니다. 이는 계약 네트워크 프로토콜(Cla
인간 중심 연구소 AI agent들이 같은 임무에 놓여 turf war를 시작한다.
인간 중심 연구소의 연구자들이 AI agent들이 예상치 못한 방식으로 충돌, 조우, 협력할 수 있음을 발견했다. 이는 오늘날의 안전 테스트가 다중 agent 시스템의 위험성을 포착하는지 여부에 대한 새로운 질문을 제기한다.
LLMs을 활용한 공정 다이어그램 엔지니어링: 최적 PFD부터 유효 P&ID까지
공정 흐름 다이어그램(PFD)과 pipe 및 instrumentation 다이어그램(P&ID)의 생성은 주로 수동으로 수행됩니다. AI 기술을 적용하면 공정 자동화, 시간 절약, 금융적 이익을 얻을 수 있을 뿐만 아니라 다이어그램의 토폴로지 옵션을 탐색하고 수동 노동을 줄일 수 있습니다. 연구에서는 P&ID Pilot라는 실제 end-to-end AI pipeline를 제시합니다. 이 pipeline는 두 단계를 처리할 수 있습니다. 첫 번째 단계는 PFD 합성에 집중하고 두 번째 단계는 생성된 PFD를 P&ID로 변환하는 데 집중합니다.
자동세계모델 벤치마크: 자율세계모델 연구를 위한 새로운 표준
세계 모델링은 현재 환경에 따라 다양한 아키텍처, 학습 목표 및 상태 표현이 상호 작용하는 복잡한 분야입니다. 이를 해결하기 위해 AI 코드 기반.agent가 자율적으로 연구할 수 있는 환경을 제공하는 새로운 벤치마크가 등장했습니다. 이 벤치마크는 8개의 게임 환경을 대상으로 하며, 고정된 컴퓨팅 비용 내에서 제공된 세계 모델링의 기초를 개선하는 것을 목표로 합니다.
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.