LLM이 문맥을 이해할 수 있는가? 지식 그래프 기반 평가 프레임워크

대규모 언어 모델(LLMs)가 언어 능력에 대해 놀라운 성과를 보인 것은 사실이지만, 그 모델의 심장에 깊이 있는 질문 하나가 남아 있다: 이러한 모델들이 정말로 문맥을 이해하거나 단순히 무려 대규모 패턴 매칭에만 능통한 것일까? 대규모 언어 모델에서 문맥 이해는 주어진 문맥에서 관련 정보를 정확하게 추출하고, 그것을 일관된 내부 표현으로 통합하고, 그 문맥을 바탕으로 사실적이고 문맥적으로 지지되는 답변을 생성할 수 있는 능력을 말한다. 그러나 BLEU나 perplexity와 같은 전통적인 방법들은 단순히 표면 수준의 성과만 측정한다. 이는 QA에서 답변들이 문맥적으로 지지된 것일 뿐만 아니라 단순히 기억된 연관만 있는 것일 뿐이라는 중요한 лакูน을 드러낸다. 이 공백을 채우기 위해, 우리는 QA에서 LLM의 문맥 이해를 위한 대규모 언어 모델의 새로운 지식 그래프(KG) 기반 평가 프레임워크를 제안한다. 이 중심에는 Semantic Structural Similarity for KGs(S3KG)라는 구조적 및 의미적 신호를 결합한 단일 점수 기반의 새로운 유사도 측정 방법이 있다. 또한, 이 모델의 실패를 fine-grained하게 분석하기 위해 트리플렛 단위의 추론 오류를 식별하고 분류하기 위한 진단 분석 프레임워크를 개발했다. 이 두 가지를 합친 결과, 9개의 벤치마크에서 S3KG는 최강 baseline보다 F1 점수에서 $+7.6$점 이상의 향상을 달성하고 AUROC는 $0.973$까지 높아졌다.