RBS-Attention : 반경 제한 스페어.prefill을 위한 장문언어 모델

대규모 언어 모델(LLM)의 추론은 점점 더 많은 데이터를 처리해야 하는 'prefill' 문제로 제한되고 있습니다. 이 문제를 해결하기 위해 'sparse block selection' 방법을 사용할 수 있지만, centroid가 많은 불필요한 토큰 중에서 중요하지 않은 토큰을 포함할 수 있습니다. 이 문제를 'mean dilution'이라고 부르고, RBS-Attention이라는 새로운 방법을 제안합니다. RBS-Attention은 두 개의 보완적인 선택 branch를 사용합니다. centroid base branch는 평균적인 중요성을 잡아내고, rescue branch는 key-block radius와 prompt-, layer-, head-에 대한 분포를 사용하여 중요하지 않은 블록을 찾아내는 데 도움이 됩니다. 두 branch를 independantly thresholding하고 mask를 combine하면 rescue block의 contribution을 제어하면서 regular block-sparse FlashAttention execution을 유지할 수 있습니다. H100 GPU에서, RBS-Attention은 20.65배의 standalone prefill-attention speedup, 11.92배의 vLLM prefill-attention speedup, 5.97배의 end-to-end time-to-first-token speedup을 달성했습니다. 또한 128K에서 Qwen3-30B-A3B-Instruct-2507-FP8에 대해 88.65의 overall RULER accuracy를 달성했습니다. dense Qwen3-32B 모델에서, RBS-Attention은 88.65의 overall RULER accuracy를 달성했으며, dense attention은 89.52를 달성했습니다. LongBench-v2, InfiniteBench, Video-MME를 포함한 추가적인 품질 평가도 제공합니다.