대량 언어 모델(LLM) 개인화에 대한 대응: Meta-LoRA를 이용한 다원 도메인 선호도 학습
대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다. 이러한 문제를 해결하기 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안하여, 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.
대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다.
Meta-LoRA를 이용한 다원 도메인 선호도 학습
대량 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습을 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안합니다. Meta-LoRA는 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.
개인화 전제 조건 분할
대량 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습에서, 개인화 전제 조건은 사용자와 도메인 두 가지 구성 요소로 분할됩니다. 사용자는 인간-readable로 읽을 수 있는 프롬프트를 사용하여 안정적인 선호도를 얻으며, 도메인은 도메인-특이성의 은닉 공간 조건을 위해 토폴로지 보존하는 소프트 토큰을 사용합니다.
실험 결과
다양한 벤치마크와 개인화 작업을 통해, 우리는 Meta-LoRA가 강력한 기준선에 대한 일관적인 이익을 보여주었습니다. HiCUPID에서, 우리의 방법은 상대적으로 가장 좋은 경쟁 기준선보다 47.9%의 크로스 도메인 승률 감소율을 감소시키고, 보이지 않는 사용자 콜드 스타트에서 승률을 110.2% 증가시켰습니다.
함께 읽으면 좋은 기사
오픈AI, 모델 중단...안전 문제로 우려
오픈AI가 최근 개발한 대규모 언어 모델(LLM)을 중단했다는 소식이 전해졌다. 이 모델은 명령을 수행하는 데 부진한 성적을 거두었다고 한다.
AMD가 인공지능 회사 월드 랩스(Wold Labs)를 8억 달러 이상에 인수한다
AMD가 대규모 언어 모델(LLM) 및 인공지능(AI) 기술 연구소인 World Labs를 8억200만 달러 규모의 주식 교환으로 인수한다고 발표했다. World Labs는 2024년에 설립되었으며 몇 개월 만에 10억 달러 규모의 기업으로 성장했다. 이 스타트업은 첫 번째 상업 제품으로, 세계 생성 모델을 포함하는 AI 플랫폼을 출시했다.
시각성 겹침: 방향성 기원 내 개중량 모델 계통
가중치가 공개된 모델은 종종 최적화, 정렬, 병합, 다시 공개되는 과정을 거치게 되며, 모델의 기원에 대한 감사는 단순히 체크포인트가 관련되어 있는지 여부를 확인하는 것만이 아닌, 체크포인트 중 누가 먼저 만들어졌는지 또한 확인해야 하는 상황이 발생합니다. 현재까지 존재하는 모델 기원에 대한 방법들은 주로 기존에 알려진 모델을 대상으로 하는 감사 설정에 설계되어 있으며, 주어진 모델 중 한
AI를 자산으로, 비용으로만 볼 것인가
고객들이 AI 비용에 대해 이야기할 때, 대화는 보통 토큰 가격으로 시작하고 cloud에서 가장 강력한 모델에 접근할 수 있는지에 대해 끝나곤 합니다. 그들이 항상 그 정도의 능력 필요하다는 건 항상 그렇지는 않습니다. 하지만 그 정도로 대화가 진행되곤 합니다. AI는 실험에서 생산으로 옮겨갈 때, 모델 선택은...
AI가 과학적 발견을 하는 시점은 언제인가?
AI 기술 회사인 Anthropic은 대규모 언어 모델(Claude agents)을 통해 생물학 문제를 해결하고자 하는 연구를 진행 중입니다. 연구 결과, AI가 과학적 발견을 하는 시점에 대해 궁금해하시는 분들을 위해 자세한 내용을 소개합니다.
플로리다 주의
플로리다 주 법무장관은 OpenAI를 상대로
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.