8.3억 명의 개인 캐릭터를 이용한 세계 시뮬레이션: MatrAIx

인공지능 시스템 및 디지털 제품의 평가를 위한 인간 평가가 비용이 많이 들고 느리고 확대하기 어렵다. 오프라인 평가가 더 확대하기 쉬우나 인간 다양성과 상호 작용 행위를 자주 추상화한다. 따라서 MatrAIx를 소개한다. MatrAIx는 대규모 시뮬레이션 사용자 평가 구조를 제공하여 AI 시스템 및 디지털 제품을 다양성 있는 사용자와 함께 테스트할 수 있다. MatrAIx에는 세 가지 핵심 구성 요소가 있다. 첫 번째로, Persona 8B에는 8.3억의 프로필 레코드가 1,290 범주적 차원으로 표현된다. 레코드는 상관된 특성의 dependency graph에서 샘플링되거나 인간-authored 프로필에서 파생된다. 우리는 약 1백만 개의 프로필 코어셋을 릴리즈한다. 이는 599,847개의 인간 기반 레코드와 400,000개의 시뮬레이션 레코드로 구성된다. 두 번째로, MatrAIx 플레이그라운드는 다양한 사용자가 디지털 제품을 평가하고 상호 작용할 수 있는 네 가지 환경을 제공한다: 설문, AI 챗봇, 웹, 앱. 세 번째로, MatrAIx는 25개 이상의 도메인(상업, 소프트웨어, 금융, 의료 등)에 걸쳐 1,010개의 응용 프로그램 작업을 제공한다. 우리는 8개의 대표적인 작업에서 18,189개의 평가 시도를 수행했다. 프로필 에이전트는 세 대규모 언어 모델(LLM)인 Claude Opus 4.8, GPT 5.5, Claude Haiku 4.5에 의해 제어되었다. 결과적인 피드백은 프로필 배경에 따라 결정을 내리고 선호도를 바꾸는 행위를 기록한다. 이는 가격 상승 후 망설임, AI 어시스턴트가 실패한 후 계속할 의사, 지연 시간 tolerance 등이다. 우리는 두 가지 주요 유효성 검사 연구를 수행했다. 첫 번째로, 400개의 시험이 포함된 통제된 연구에서는 10개의 행동 특성과 네 가지 환경에서 프로필의 부합성을 평가했다. 366개의 시험이 (91.5%)에서 선언된 행동이 표현되거나 올바르게 억제되었다. 두 번째로, 인간 판독가와 대규모 언어 모델(LLM) 판독가가 인간 기반 프로필의 추출 품질을 평가했다. MatrAIx는 다양한 시뮬레이션 인간 사용자와 함께 AI 시스템 및 디지털 제품을 평가하기 위한 종단-to-종단 구조를 제공한다.