자연형 특성의 온톨로지 구축 지연을 극복하는 프런티어 LLM 기반 agent

비 텍스트 형태의 유전 특성 설명을 개체-품질(Entity-Quality, EQ) 어휘로 연결하는 것, 즉 유전 특성 어휘화는 비교 형태학적 데이터의 연구 간 통합을 위한 필수 과제입니다. 이 번역 작업은 매우 훈련된 전문가에 의해 수행되었기 때문에 대규모로 확장하기 어려우며 이는 주요 걸림돌입니다. Dahdul 등(2018)은 일곱 가지 계통학적 연구에 걸쳐 Entity-Quality 어휘화 표준을established하고 Semantic CharaParser NLP 도구와 개체-품질 어휘화 표준에 기반한 의미 유사도 지표를 사용하여 세 명의 인간 편집자와 Semantic CharaParser NLP 도구를 평가하였으며, 기계-인간 일관성이 인간-인간 일관성보다 낮다는 보고를 했습니다. 여기서 우리는 Anthropic와 OpenAI에서 제공하는 다섯 대의 대규모 언어 모델(LLM)과 그들이 제공하는 self-contained workspace를 사용하여 같은 어휘화 표준에 대해 평가하였습니다. 이 workspace는 원래 인간 편집자들이 사용한 어휘화 지침, 네 가지 프로젝트 어휘체계(UBERON, PATO, BSPO, GO), 그리고 검증 스크립트를 제공합니다. 같은 표준에 대해 평가한 결과, 모든 agent가 원래 연구에서 세 명의 훈련된 인간 생물 편집자 간의 일관성 범위 내에 위치하였으며, 가장 성능이 좋은 agent도 최고의 인간 편집자가 달성하지 못했습니다. 모든 네 가지 지표에서 Semantic CharaParser보다 agent들이 크게 성능을 개선했습니다.