CONCORD: 기기-클라우드 RAG에서 문서 격리 하에 비동기식 희소 집계

Retrieval-augmented generation(RAG)은 추론 시 외부 지식 통합을 통해 언어 모델을 향상시키는 데 중요한 기술로 등장했습니다. 장치-클라우드 협력 추론으로 인해 작은 언어 모델을 에지 장치에 배포하는 것은 가능해졌습니다. 따라서 장치 내의 개인 문서와 클라우드 내의 공공 지식이 분리된 새로운 설정이 발생했습니다. 개인 정보 보호와 정책 제약으로 인해 raw 문서 교환은 자주 금지되어 있기 때문에 문서가 분리된 두 개의 끝 RAG 설정이 생성되었습니다. 그러나 기존 방법은 실질적인 지연 시간과 대역폭 조건 하에서 통과율을 제한하는 빈번한 원격 동기화와 밀집된 증거 전송에 의존합니다. 이 문제를 해결하기 위해 CONCORD라는 비동기적 희소 집약성 프레임워크를 제안했습니다. CONCORD는 클라우드를 비동기적으로 도착하는 증거 소스로 다루며, 계속해서 동기화된 코-제네레이터로 다루지 않습니다. CONCORD는 기다리는 부채 관리를 통해 각 디코딩 단계가 클라우드 참여를 기다리는지 여부를 결정합니다. 또한, 클라우드 참여를 기다리지 않아도 현재 greedy 결정을 결정할 수 있는 최소한의 증거만 요청하는 증명 가이드된 최소 보강 기작을 설계했습니다. 클라우드와 상담하는 단계는 밀집된 두 개의 끝 집약성과 동일한 greedy 토큰을 보존하며, 나머지 단계는 클라우드 증거 없이 지역적으로 커밋합니다. Natural Questions와 WikiText-2의 실험 결과에 따르면 CONCORD는 baseline과 비교하여 $1.66\times$와 $2.15\times$의 throughput 향상, 그리고 두 배 이상의 통신 토큰 감소, 그리고 유사한 답변 품질과 혼동률을 유지합니다.