대상적인 EEG 이해를 위한 큰 언어 모델의 성능 평가

전자뇌파 분석(Electroencephalography, EEG)은 단순히 녹음파일에 레이블을 할당하는 것 이상으로, 자연어 명령, 신호처리, 양적 증거, 과학적 해석과 연결된 워크플로우가 필요하다. 이를 우리는 \emph{전체적인 EEG 이해}라고 부른다. 그러나 현재 평가는 주로 단일 분리적 인코딩 작업이나 시스템에 특화된 데모에 초점을 맞추고 있으므로, 대규모 언어 모델(LLMs)의 compétence가 충분히 평가되지 않았다. 우리는 \benchmarkname{}이라고 불리는, 통합된 벤치마크를 소개한다. 이 벤치마크는 4개의 서브셋---기초 분석, 수면 평가, 신경인지 평가, 생리적 통합---을 포함하고 있으며, 17개의 데이터셋, \numcases{}개의 작업, 및 수백만개의 실제 데이터 인스턴스를 커버한다. 명령어와 EEG 녹음파일에 생리학적 신호가 포함될 수 있으며, 시스템은 분석을 수행하고 과학적으로 근거 있는 보고서와, 필요한 경우, 결과물들을 생성해야 한다. 출력물은 수치적, 범주적, 집합, 시퀀스, 의미론적, 결과물 유효성 검증을 통해 평가된다. 우리는 100만 이상의 실행을 통해 \nummodels{}개의 대표적인 LLM을 평가했으며, 두 가지 패러다임---CodeAct를 이용한 자율 코드 실행과 BrainAgent를 이용한 구조화된 인지적 분석---을 통해 결과를 얻었다. 결과는 모델, 서브셋, 난이도, 실행 패러다임에 따라 상당히 차이가 나며, EEG competence는 모델과 그 운영화에 따라 달라진다는 것을 보여준다. \benchmarkname{}은 LLM 기반 EEG 이해를 진전시키기 위한 reproducible testbed를 제공한다. 코드와 벤치마크는 곧 출시될 예정이며, 평가 결과는 지속적으로 업데이트될 것이다.