정치 뉴스 Nugget: 대규모 언어 모델(LLM) 기반 장소성 정보 통합 평가

정치 뉴스 Nugget은 대규모 언어 모델(LLM)을 장소성 프레임워크에 통합하여 정적 질문에 대한 긴 문맥 정보 검색을 개방형 탐색으로 변형시켰다. 그러나 실제 세계 사용에는 모델이 분산된 소스에서 '장거리' 사실을 발견하고 통합하는 능력이 필요하며, 이 능력은 평가되지 않았다.

정치 뉴스 Nugget은 400명의 글로벌 엘리트를 위한 정치 전기서를 구성하여 10,000개 이상의 정치 사실을 포함하는 다언어 벤치마크를 소개한다. 이 벤치마크는 합리적인 모델의 성능을 평가하기 위해 최적화된 다중 에이전트 시스템을 사용하며, 사실 네트워크(FactNet)라는 증거 조건 프로토콜을 제안한다. 이 프로토콜은 발견, 세부 정확도, 효율성 평가를 기준으로 한다.

모델과 설정에 대한 실험 결과, 현재 시스템은 세부적인 정보에 어려움을 겪고 효율성에 대한 변동이 크게 나타났다. 또한 벤치마크 진단을 사용하여 에이전트 성능과 모델의 내재된 능력 간의 관계를 밝히고, 짧은 문맥 추출, 다언어 강건성, 신뢰할 수 있는 도구 사용의 중요성을 강조했다.

• 정치 뉴스 Nugget은 대규모 언어 모델(LLM)을 장소성 프레임워크에 통합하여 정적 질문에 대한 긴 문맥 정보 검색을 개방형 탐색으로 변형시켰다.
• 정치 뉴스 Nugget은 400명의 글로벌 엘리트를 위한 정치 전기서를 구성하여 10,000개 이상의 정치 사실을 포함하는 다언어 벤치마크를 소개한다.
• 이 벤치마크는 합리적인 모델의 성능을 평가하기 위해 최적화된 다중 에이전트 시스템을 사용하며, 사실 네트워크(FactNet)라는 증거 조건 프로토콜을 제안한다.