LLM이 지원하는 체계적 문헌 고찰 시스템을 위한 BenchMark 및 설계 원칙

논문 제목: arXiv:2609.05505v1 발표 형식: 새로운 논문 요약: 시스템 검토는 수천 개의 기록에 대한 지속적인 인간 판단이 필요하지만, 기존의 대규모 언어 모델(LLM)의 평가에서는 검토 단계를 개별적으로 검토한다. 우리는 SciLitBench라는 제목과 초록 검토, 전체 텍스트 검토, 및 스키마에 따라 데이터 추출을 포함하는 다단계 벤치마크를 소개한다. 이 벤치마크는 42,981개의 추출된 기록, 1,012개의 전체 텍스트, 및 888개의 포함된 논문에 대한 어노테이션을 포함한다. 6개의 모델 패밀리에서 22개의 공개 중재 LLM을 비교한 결과, 명확한 포함 및 배제 기준이 제목과 초록 검토에서 $F_2$를 28.8%로 향상시킨다. 또한 연구자 저자 의견이 전체 텍스트 검토에서 15%를 향상시킨다. 데이터 추출 결과는 신뢰성 체제가 다르다: 출판 연도 accuracy에서 0.97에서 computational approach Jaccard 겹침으로 0.37로 성능이 하락한다. 가장 강력한 모델은 어노테이션된 평가 증거의 30%와 한계의 25%만 회복한다. SciLitBench는 실용적인 경계를 설정하여 고성능 검토와 증거 완전한 추출 사이의 경계를 제공하며, LLM-assisted 증거 합성 평가에 대한 재현 가능한 자원을 제공한다.