학습-밴드-스트레스 하에서 안정성과 효율성을 위한 한계自治 학습 제어 관할

대규모 언어 모델(LLM) 학습이 점점 더 불안정해지고, 낮은 성능과 낭비된 컴퓨팅이 발생하고 있습니다. Learn-by-Wire Guard(LBW-Guard)는 AdamW 위에 작동하는 한계自治 학습 제어 관할 계층을 소개합니다. LBW-Guard는 최적화 업데이트 규칙을 대체하는 대신, 학습 전송을 관찰하고 불안정성에 민감한 영역을 해석하여 최적화 실행에 한계 제어를 적용합니다. LBW-Guard는 WikiText-103에서 Qwen2.5-centered stress-and-robustness suite를 사용하여 Qwen2.5-7B를 empirical anchor로 평가합니다. Qwen2.5-3B와 Qwen2.5-14B와의 모델 크기 비교, 학습률 스트레스 테스트, 기울기 클리핑 베이스라인, TinyLlama-1B의 전체 매개변수 절대 안정성 검사도 수행합니다. 7B 참조 설정에서 LBW-Guard는 최종 혼동도 13.21에서 10.74로 개선되어 18.7% 향상되며, 종단 간 시간이 392.54s에서 357.02s로 1.10배 가속됩니다. 더 강한 학습률 스트레스에서 AdamW는 LR=3e-3에서 1885.24 최종 혼동도와 LR=1e-3에서 659.76로 감소하지만, LBW-Guard는 11.57와 10.33으로 유지됩니다. 기울기 클리핑 베이스라인은 이 효과를 재현하지 못합니다. 이러한 결과는 안정성에 민감한 LLM 학습이 최적화자 위에 관할 평면을 가지는 데 이점이 있다는 scoped 시스템 결론을 지지합니다. LBW-Guard는 한계 런타임 제어가 스트레스 하에서 효율적인 컴퓨팅을 유지하면서 최적화자 대체와 지역 기울기 억제와 구별되는 증거를 제공합니다.

2026년 5월 20일 AI 자동 생성

#arXiv

학습 안정성과 효율성 개선

대규모 언어 모델(LLM) 학습이 점점 더 불안정해지고, 낮은 성능과 낭비된 컴퓨팅이 발생하고 있습니다. 이를 해결하기 위해 Learn-by-Wire Guard(LBW-Guard)라는 새로운 학습 제어 관할 계층이 소개되었습니다. LBW-Guard는 AdamW 위에 작동하며, 학습 전송을 관찰하고 불안정성에 민감한 영역을 해석하여 최적화 실행에 한계 제어를 적용합니다. LBW-Guard의 성능은 WikiText-103에서 Qwen2.5-centered stress-and-robustness suite를 사용하여 평가되었습니다. Qwen2.5-7B를 empirical anchor로 사용하여 모델 크기 비교, 학습률 스트레스 테스트, 기울기 클리핑 베이스라인, TinyLlama-1B의 전체 매개변수 절대 안정성 검사 등을 수행했습니다. 결과적으로, 7B 참조 설정에서 LBW-Guard는 최종 혼동도 13.21에서 10.74로 개선되어 18.7% 향상되며, 종단 간 시간이 392.54s에서 357.02s로 1.10배 가속되었습니다.

학습률 스트레스 테스트 결과

더 강한 학습률 스트레스에서 AdamW는 LR=3e-3에서 1885.24 최종 혼동도와 LR=1e-3에서 659.76로 감소하지만, LBW-Guard는 11.57와 10.33으로 유지됩니다. 기울기 클리핑 베이스라인은 이 효과를 재현하지 못했습니다. 이러한 결과는 안정성에 민감한 LLM 학습이 최적화자 위에 관할 평면을 가지는 데 이점이 있다는 것을 보여줍니다. LBW-Guard는 한계 런타임 제어가 스트레스 하에서 효율적인 컴퓨팅을 유지하면서 최적화자 대체와 지역 기울기 억제와 구별되는 증거를 제공합니다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

AI 모델 2일 전

Anthropic의 연간 매출액 6,500억 달러로 급증

모델 제작자(MODEL MAKER)는 2개월 만에 연간 $18 억 달러의 매출을 추가했다.

AI 모델 2일 전

아마존이 책을 처음으로 판매하기 시작한 이후로 귀중한 책을 파괴하여 AI를 교육하고 있습니다.

진귀한 책들은 대규모 언어 모델(LLM) 교육에 매우 가치가 높다. 왜냐하면 이 모델들은 이미 온라인에서 접근할 수 있는 모든 것을 통해 교육을 받았기 때문이다.

AI 모델 5일 전

구글 지니미(Google Gemini)의 보이는 워터마크를 끄는 방법이 나왔다!

구글은 이제 지니미와 플로(Google's AI video generator, Flow)에서 AI工具을 이용해 만든 미디어에 보이는 워터마크를 제거할 수 있는 기능을 제공합니다. 이 업데이트로, 사용자는 지니미와 플로의 새로운 '미디어 워터마크' 설정을 끌 수 있습니다. 워터마크가 끄면, 지니미에서 생성된 이미지, 비디오, 음악에 나타나는 '스파클(sparkle)' 워터마크가 사라집니다.

AI 모델 5일 전

애플, 중국 위해 알리바바와 함께 자체 AI 모델을 교육

애플은 중국 시장에 맞는 맞춤형 AI 모델을 중국 기술巨인 알리바바와 함께 개발하고 훈련했다고 보고되었다. 이는 베이징과 워싱턴 간 커져가는 긴장감을 무시하고 중국과 미국 사이에 드문 획기적인 협력이다. 알리바바의 지원을 받으며 개발된 중국을 대상으로 한 대규모 언어 모델(LLM) 훈련은 알리바바와 함께 개발되었으며, 리트저스는 훈련에 대한 지원을 받았다고 세 명의 익명한 사람들의 진술에 근

AI 모델 6일 전

대량 언어 모델(LLM) 개인화에 대한 대응: Meta-LoRA를 이용한 다원 도메인 선호도 학습

대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다. 이러한 문제를 해결하기 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안하여, 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.