국제법 영문명칭 인식 데이터셋 및 성능평가 기준

국제법은 국가가 행동을 조정하고 무장한 충돌을 규제하며 인권을 보호하는 normative framework을 제공하지만, 이 텍스트들은 token-level named entity recognition (NER) 자원 없이 남아 있습니다. 우리는 IntLawNER라는 NER 데이터셋과 benchmark를 제시합니다. 이 데이터셋은 2,987개의 gold-annotated 문장과 8,094개의 entity span을 포함하며, 국제법의 codified 원천을 다룹니다. 이는 국제법재판소(ICJ)의 판결, 유엔 안전보장 council의 결의안, 유럽인권재판소(ECtHR)의 판결을 통해 얻어졌습니다. 이 데이터셋은 7개의 institution-specific entity type으로 annotated됩니다. IntLawNER는 candidate retrieval, LLM-based vetting, 그리고 human review를 통해 468k개의 source 문장을 compact annotation set으로 줄입니다. 이 방법은 89.6%의 gold span이 silver layer에서 그대로 accepted됩니다. 그러나 silver-to-gold analysis는 domain-specific NER에서 human-machine aggregate agreement metrics가 misleading일 수 있음을 보여줍니다. Cohen's kappa=0.964은 boundary-matched span에서만 valid하지만, missing entities, boundary errors, 그리고 label corrections가 포함된 macro-F1는 0.753입니다. benchmark는 zero-shot span-based GLiNER가 institutional function에 의존하는 entity type에만 잘 작동하지만, surface form에 의존하는 entity type에서는 0.243 micro-F1의 낮은 성능을 보입니다. 또한 fine-tuned transformers는 rare labels에 잘 작동하지 못합니다. carefully selected few-shot examples가 label contrasts를 보여주는 것은 zero-shot prompting보다 모든 LLM를 향상시킵니다. 이 중 Claude Opus 4.6가 0.873 micro-F1의 최고 성능을 보여줍니다. 우리는 IntLawNER를 국제법의 legal text에서 reference를 추출하는 reusable resource와 benchmark로 제공합니다.