context-aware에서 conflict-aware로: LLM의 지식 충돌에 대한 일반화된 대조적 디코딩
대규모 언어 모델(LLM)이 검색 또는 증강된 콘텍스트에서 생성할 때, 외부 콘텍스트와 파라미터 프리오리 간의 충돌이 신뢰성의 주요 약점으로 남아있다. 기존의 대조적 디코딩 방법은 \emph{context-aware} 패러다임을 따르며, 콘텍스트의 신뢰성을 가정하여 콘텍스트를 파라미터 프리오리 위에 우선시한다. 우리는 이에 대하여 \textbf{conflict-aware} 패러다임을 일반화시켜, 충돌 신호에 따라 프리오리와 콘텍스트 간의 권한을 동적으로 할당한다. 또한, affine combination의 결과로 얻은 \textbf{power family}의 \textbf{regime asymmetry}를 보여주며, 기존의 대조적 디코딩 방법은 이 패러다임의 일종으로, 대체로 추출에 의존한다.
conflict-aware 디코딩: LLM의 지식 충돌 해결
대규모 언어 모델(LLM)이 검색 또는 증강된 콘텍스트에서 생성할 때, 외부 콘텍스트와 파라미터 프리오리 간의 충돌이 신뢰성의 주요 약점으로 남아있다. 기존의 대조적 디코딩 방법은 \emph{context-aware} 패러다임을 따르며, 콘텍스트의 신뢰성을 가정하여 콘텍스트를 파라미터 프리오리 위에 우선시한다. 그러나, 이 방법은 콘텍스트가 잘못된 경우에 프리오리 값을 덮어쓰는 문제를 일으킨다.
우리는 이에 대하여 \textbf{conflict-aware} 패러다임을 일반화시켜, 충돌 신호에 따라 프리오리와 콘텍스트 간의 권한을 동적으로 할당한다. 이 방법을 통해, 프리오리와 콘텍스트 간의 권한을 적절히 할당하여, 지식 충돌을 해결할 수 있다.
TriState-Bench: conflict-aware 디코딩 평가
conflict-aware 디코딩 방법을 평가하기 위해, 우리는 TriState-Bench라는 모델-aware 평가 프로토콜을 제안한다. 이 프로토콜은 각 모델의 프리오리 지식을 조정하여, 세 가지 충돌 상태를 측정한다: 교정, 저항, 동의.
- 교정: 프리오리가 콘텍스트보다 정확한 경우
- 저항: 콘텍스트가 프리오리보다 정확한 경우
- 동의: 프리오리와 콘텍스트가 동일한 경우
Adaptive Regime Routing (ARR): conflict-aware 디코딩 해결
conflict-aware 디코딩의 문제점은, power family의 regime asymmetry로 인해, 저항이 교정보다 우선되는 경우가 발생한다. 이를 해결하기 위해, 우리는 Adaptive Regime Routing (ARR)이라는 방법을 제안한다. ARR은 각 단계마다, regime을 동적으로 할당하여, 저항을 교정으로 전환할 수 있다.
ARR을 적용한 결과, 저항 EM은 6에서 16--33까지 감소하였다. 또한, 교정과 동의는 유지되었다.
우리의 코드는 https://github.com/keith-Jiang/conflict-aware-decoding에서 찾을 수 있다.
함께 읽으면 좋은 기사
Anthropic의 연간 매출액 6,500억 달러로 급증
모델 제작자(MODEL MAKER)는 2개월 만에 연간 $18 억 달러의 매출을 추가했다.
아마존이 책을 처음으로 판매하기 시작한 이후로 귀중한 책을 파괴하여 AI를 교육하고 있습니다.
진귀한 책들은 대규모 언어 모델(LLM) 교육에 매우 가치가 높다. 왜냐하면 이 모델들은 이미 온라인에서 접근할 수 있는 모든 것을 통해 교육을 받았기 때문이다.
구글 지니미(Google Gemini)의 보이는 워터마크를 끄는 방법이 나왔다!
구글은 이제 지니미와 플로(Google's AI video generator, Flow)에서 AI工具을 이용해 만든 미디어에 보이는 워터마크를 제거할 수 있는 기능을 제공합니다. 이 업데이트로, 사용자는 지니미와 플로의 새로운 '미디어 워터마크' 설정을 끌 수 있습니다. 워터마크가 끄면, 지니미에서 생성된 이미지, 비디오, 음악에 나타나는 '스파클(sparkle)' 워터마크가 사라집니다.
애플, 중국 위해 알리바바와 함께 자체 AI 모델을 교육
애플은 중국 시장에 맞는 맞춤형 AI 모델을 중국 기술巨인 알리바바와 함께 개발하고 훈련했다고 보고되었다. 이는 베이징과 워싱턴 간 커져가는 긴장감을 무시하고 중국과 미국 사이에 드문 획기적인 협력이다. 알리바바의 지원을 받으며 개발된 중국을 대상으로 한 대규모 언어 모델(LLM) 훈련은 알리바바와 함께 개발되었으며, 리트저스는 훈련에 대한 지원을 받았다고 세 명의 익명한 사람들의 진술에 근
대량 언어 모델(LLM) 개인화에 대한 대응: Meta-LoRA를 이용한 다원 도메인 선호도 학습
대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다. 이러한 문제를 해결하기 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안하여, 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.
듀얼-플로우 트랜스포머: 주요 프리 필 경로와 추가 디코딩 계산을 분리하는 방법
대규모 언어 모델은 더 많은 요청을 처리할수록,一次적인 학습 비용 대비 누적적인 추론 비용이 점점 더 중요해지고 있습니다. 추론의 두 가지 단계는 하드웨어를 다르게 부하를 주고 있습니다:_prompt prefill은 병렬적이고 일반적으로 계산량에 의존하는 반면, autoregressive decode는 순차적이고 종종 메모리 대역폭에 의존합니다. 전통적인 너비 또는 깊이 확대는 두 비용을 모
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.