RBS-Attention : 반경 제한 스페어.prefill을 위한 장문언어 모델
대규모 언어 모델(LLM)의 추론은 점점 더 많은 데이터를 처리해야 하는 'prefill' 문제로 제한되고 있습니다. 이 문제를 해결하기 위해 'sparse block selection' 방법을 사용할 수 있지만, centroid가 많은 불필요한 토큰 중에서 중요하지 않은 토큰을 포함할 수 있습니다. 이 문제를 'mean dilution'이라고 부르고, RBS-Attention이라는 새로운