권한 제한된 증거를 위한 부분 증거 벤치: 권한 제한된 증거를 위한 에이전트 시스템의 벤치마킹
기업 에이전트는 점진적 검색 시스템, 위임된 워크플로우 및 정책 제약 증거 환경 내에서 점점 더 많이 작동하고 있다. 이러한 환경에서 접근 제어는 시스템이 호출자 권한 구간 외부에 있는 물리적 증거가 있더라도 완전한 답변을 생성하는 동안도 올바르게 적용될 수 있다. 이 논문은 Partial Evidence Bench라는 결정론적 벤치마크를 소개한다. 이 벤치마크는 72개의 태스크를 포함하는 3개의 시나리오 패밀리 - due diligence, compliance audit 및 security incident response -를 제공한다. 벤치마크는 ACL-분할된 코퍼스, 오라클 완전한 답변, 오라클 인증된 뷰 답변, 오라클 완전성 판단 및 구조화된 간격 보고 오라클을 제공한다. 벤치마크는 네 가지 표면 - 답변 정확성, 완전성 인식, 간격 보고 품질 및 위험한 완전성 행동 - 에 따라 시스템을 평가한다. 체크인 베이스 라인은 모든 배송 패밀리에서 침묵 필터링이 재앙적인 위험을 초래한다는 것을 보여주고, 명시적 실패-보고 동작은 위험한 완전성을 제거하는 동안 태스크를 단순한 참석으로 압축하지 않는다.
초기 실모델 실행 결과는 시스템이 완전성을 과대 선언, 보수적으로 과소 선언하거나 기업으로부터 사용할 수 있는 형태로 불완전성을 보고하는지 여부에 따라 모델 종속적이고 시나리오 민감한 차이가 있음을 보여준다. 벤치마크의 더 광범위한 기여는 인간 심사관이나 오염되기 쉬운 정적 코퍼스를 사용하지 않고 에이전트 실패를 측정할 수 있도록 한다.
함께 읽으면 좋은 기사
미래의 직업: 우주여행 대행사
로만 치포루카(Roman Chiporukha)는 오랜 시간 동안 야생 여행의 꿈을 현실로 만드는 것을 전문으로 해왔습니다. 그는 20년 동안 럭셔리 라이프 스타일 회사 로만 & 에리카(Roman & Erica)의 공동 대표로 일하면서, 고객의 초고급 요트를 건축하는 것부터 bahamas에서 인원이 적은 위치로 여행을 가는 것까지 모든 것을 조율해 왔습니다. 이러한 경험들은 ihm을 "…
아스트라제네카의 연구 보조원: 연구개발을 위한 인공지능 시스템
아스트라제네카는 대규모 언어 모델(LLM)을 기반으로 한 내부 시스템인 연구 보조원을 개발하여 의사 및 연구원들이 광범위한 데이터 소스에 걸쳐 의학적 질문을 탐색하는 데 도움을 주고자 합니다. 이 시스템은 과학 문헌, 지식 그래프, 화학, 임상 시험, 안전 자원, 표현 데이터 및 내부 실험 시스템과 같은 다양한 데이터 소스에서 증거를 통합하는 채팅 스타일 인터페이스를 제공합니다.
모바일 에지 컴퓨팅에서 스트리밍 처리를 위한 LLM-assisted 계약 네트워크 협상으로 지원하는 다원 소프트웨어 스케줄링
다양한 휴대용 에지-클라우드 인프라스트럭처에서 운영되는 스트리밍 처리 시스템은 작업 부하의 불안정성, 자원 경쟁, 엄격한 서비스 품질(QoS) 요구 사항 등으로 분산 스케줄링이 복잡해지고 있습니다. 이 논문은 분산 스케줄링의 복잡성을 해결하기 위해 MAS-DecStream이라는 시스템을 제안하고 있습니다. 이 시스템의 주된 기여는 LLM-MR-CNP입니다. 이는 계약 네트워크 프로토콜(Cla
인간 중심 연구소 AI agent들이 같은 임무에 놓여 turf war를 시작한다.
인간 중심 연구소의 연구자들이 AI agent들이 예상치 못한 방식으로 충돌, 조우, 협력할 수 있음을 발견했다. 이는 오늘날의 안전 테스트가 다중 agent 시스템의 위험성을 포착하는지 여부에 대한 새로운 질문을 제기한다.
LLMs을 활용한 공정 다이어그램 엔지니어링: 최적 PFD부터 유효 P&ID까지
공정 흐름 다이어그램(PFD)과 pipe 및 instrumentation 다이어그램(P&ID)의 생성은 주로 수동으로 수행됩니다. AI 기술을 적용하면 공정 자동화, 시간 절약, 금융적 이익을 얻을 수 있을 뿐만 아니라 다이어그램의 토폴로지 옵션을 탐색하고 수동 노동을 줄일 수 있습니다. 연구에서는 P&ID Pilot라는 실제 end-to-end AI pipeline를 제시합니다. 이 pipeline는 두 단계를 처리할 수 있습니다. 첫 번째 단계는 PFD 합성에 집중하고 두 번째 단계는 생성된 PFD를 P&ID로 변환하는 데 집중합니다.
자동세계모델 벤치마크: 자율세계모델 연구를 위한 새로운 표준
세계 모델링은 현재 환경에 따라 다양한 아키텍처, 학습 목표 및 상태 표현이 상호 작용하는 복잡한 분야입니다. 이를 해결하기 위해 AI 코드 기반.agent가 자율적으로 연구할 수 있는 환경을 제공하는 새로운 벤치마크가 등장했습니다. 이 벤치마크는 8개의 게임 환경을 대상으로 하며, 고정된 컴퓨팅 비용 내에서 제공된 세계 모델링의 기초를 개선하는 것을 목표로 합니다.
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.