에이전트 섬 : 멀티 에이전트 게임의 포화 및 오염 저항 벤치마크
인공지능 섬(AGENT ISLAND): 낙관-및 오염 저항성 벤치마크는 멀티 에이전트 게임에서 인공지능 섬은 언어 모델 에이전트가 협력, 충돌 및 설득을 포함한 게임에서 경쟁하는 멀티 플레이어 시뮬레이션 환경입니다. 이 환경은 낙관-및 오염 저항성을 제공하는 동적 벤치마크를 제공하며, 새로운 모델은 언제나 현재 최고의 플레이어를 이기기 때문에 새로운 모델은 항상 현재 최고의 플레이어를 이기고, 에이전트는 고정된 태스크 세트 대신 다른 적응적 에이전트와 경쟁합니다. 우리는 베이즈 네트워크
Agent Island: A Saturation- and Contamination-Resistant Benchmark from Multiagent Games
인공지능 섬(AGENT ISLAND): 낙관-및 오염 저항성 벤치마크는 멀티 에이전트 게임에서
인공지능 섬은 언어 모델 에이전트가 협력, 충돌 및 설득을 포함한 게임에서 경쟁하는 멀티 플레이어 시뮬레이션 환경입니다.
이 환경은 낙관-및 오염 저항성을 제공하는 동적 벤치마크를 제공하며, 새로운 모델은 언제나 현재 최고의 플레이어를 이기기 때문에 새로운 모델은 항상 현재 최고의 플레이어를 이기고, 에이전트는 고정된 태스크 세트 대신 다른 적응적 에이전트와 경쟁합니다.
우리는 베이즈 네트워크 플래켓-루스 모델을 사용하여 플레이어를 랭킹하여 플레이어의 기술력에 대한 불확실성을 측정할 수 있습니다.
999개의 게임에 49개의 유니크한 모델이 참여한 실험에서, openai/gpt-5.5는 5.64의 평균 기술력으로 동료들을 압도하였고, 2위 openai/gpt-5.2는 3.10, 3위 openai/gpt-5.3-codex는 2.86의 평균 기술력을 보였습니다.
우리는 게임 로그를 모델 행동 분석을 위한 데이터 세트로 릴리즈합니다.
예를 들어, 우리는 결승 라운드 투표에서 제공 업체 간 선호도에 대해 조사하였는데, 모델은 8.3%p 더 많은 확률로 PROVIDER 내의 FINALIST를 지지하였고, PROVIDER 간 선호도는 PROVIDER에 따라 균일하지 않았습니다.
OPENAI 모델에서 가장 강력하며, ANTHROPIC 모델에서 가장 약한 효과를 보였습니다.
함께 읽으면 좋은 기사
미래의 직업: 우주여행 대행사
로만 치포루카(Roman Chiporukha)는 오랜 시간 동안 야생 여행의 꿈을 현실로 만드는 것을 전문으로 해왔습니다. 그는 20년 동안 럭셔리 라이프 스타일 회사 로만 & 에리카(Roman & Erica)의 공동 대표로 일하면서, 고객의 초고급 요트를 건축하는 것부터 bahamas에서 인원이 적은 위치로 여행을 가는 것까지 모든 것을 조율해 왔습니다. 이러한 경험들은 ihm을 "…
아스트라제네카의 연구 보조원: 연구개발을 위한 인공지능 시스템
아스트라제네카는 대규모 언어 모델(LLM)을 기반으로 한 내부 시스템인 연구 보조원을 개발하여 의사 및 연구원들이 광범위한 데이터 소스에 걸쳐 의학적 질문을 탐색하는 데 도움을 주고자 합니다. 이 시스템은 과학 문헌, 지식 그래프, 화학, 임상 시험, 안전 자원, 표현 데이터 및 내부 실험 시스템과 같은 다양한 데이터 소스에서 증거를 통합하는 채팅 스타일 인터페이스를 제공합니다.
모바일 에지 컴퓨팅에서 스트리밍 처리를 위한 LLM-assisted 계약 네트워크 협상으로 지원하는 다원 소프트웨어 스케줄링
다양한 휴대용 에지-클라우드 인프라스트럭처에서 운영되는 스트리밍 처리 시스템은 작업 부하의 불안정성, 자원 경쟁, 엄격한 서비스 품질(QoS) 요구 사항 등으로 분산 스케줄링이 복잡해지고 있습니다. 이 논문은 분산 스케줄링의 복잡성을 해결하기 위해 MAS-DecStream이라는 시스템을 제안하고 있습니다. 이 시스템의 주된 기여는 LLM-MR-CNP입니다. 이는 계약 네트워크 프로토콜(Cla
인간 중심 연구소 AI agent들이 같은 임무에 놓여 turf war를 시작한다.
인간 중심 연구소의 연구자들이 AI agent들이 예상치 못한 방식으로 충돌, 조우, 협력할 수 있음을 발견했다. 이는 오늘날의 안전 테스트가 다중 agent 시스템의 위험성을 포착하는지 여부에 대한 새로운 질문을 제기한다.
LLMs을 활용한 공정 다이어그램 엔지니어링: 최적 PFD부터 유효 P&ID까지
공정 흐름 다이어그램(PFD)과 pipe 및 instrumentation 다이어그램(P&ID)의 생성은 주로 수동으로 수행됩니다. AI 기술을 적용하면 공정 자동화, 시간 절약, 금융적 이익을 얻을 수 있을 뿐만 아니라 다이어그램의 토폴로지 옵션을 탐색하고 수동 노동을 줄일 수 있습니다. 연구에서는 P&ID Pilot라는 실제 end-to-end AI pipeline를 제시합니다. 이 pipeline는 두 단계를 처리할 수 있습니다. 첫 번째 단계는 PFD 합성에 집중하고 두 번째 단계는 생성된 PFD를 P&ID로 변환하는 데 집중합니다.
자동세계모델 벤치마크: 자율세계모델 연구를 위한 새로운 표준
세계 모델링은 현재 환경에 따라 다양한 아키텍처, 학습 목표 및 상태 표현이 상호 작용하는 복잡한 분야입니다. 이를 해결하기 위해 AI 코드 기반.agent가 자율적으로 연구할 수 있는 환경을 제공하는 새로운 벤치마크가 등장했습니다. 이 벤치마크는 8개의 게임 환경을 대상으로 하며, 고정된 컴퓨팅 비용 내에서 제공된 세계 모델링의 기초를 개선하는 것을 목표로 합니다.
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.