컨텍스트 리랭킹과 삭감을 위한 협력 게임 관점의 셰플리 컨텍스트 삭감

modern Retrieval-Augmented Generation(RAG) 시스템의 효율성을 향상시키기 위해 Context reranking과 pruning은 필수적이 되면서도 해석 가능한 통합 프레임워크는 여전히 탐구되지 않은 상태이다. 이전 연구는 주로 어휘 검색, 크로스 인코더 아키텍처, 모델 학습 distillation, Low-Rank Adaptation(LoRA) 등에 중점을 두었고, 대부분의 경우 가정에 기반한 손실 함수와 경험적 attribution을 사용했다. 이 논문은 Shapley Context Pruning(SCP) framework를 제시하는데, 이는 중요도 attribution을 위해 컨텍스트를 협력 게임으로 모델링하는 협력 게임 이론의 관점을 Establish하여 Context reranking을 위한 새로운 프레임워크를 제시한다. fine-grained과 coarse-grained 표현의 균형을 맞추기 위해, 우리는 Deep Sets architecture를 사용하여 문장 수준에서 순열 불변값 함수를 근사하고, pre-trained language models를 문장 embedder로 사용하여 pair-wise margin ranking loss를 최적화한다. 실용적인 확장성을 보장하면서 수학적 엄격성을 희생하지 않기 위해, 우리는 Monte-Carlo sampling을 사용하여 효율적인 훈련과 추론을 제공하고, Top-K subset ranking을 보존하기 위한 공식적인 이론적 오차한계와 샘플 복잡도 보장을 제공한다. 또한, 우리는 comprehensive 실험을 수행하는데, supporting-sentence recall, Needle-in-the-Haystack(NIAH) 평가, long-context QA, multi-hop reasoning을 포함하여 embedding quality와 attribution strategy에 대한 rigorous ablation studies를 수행한다. 모델은 robust baseline에 대한 competitive downstream QA 성능을 달성한다.