SmolLM3 출시: 3B 파라미터로 4B 모델을 넘어선 경량 AI의 혁신
허깅페이스가 공개한 SmolLM3는 3B 파라미터임에도 Gemma3-4B와 Qwen3-4B를 능가하는 성능을 보여줍니다. 11.2조 토큰으로 학습되었으며 128K 컨텍스트와 6개 언어를 지원합니다.
SmolLM3란 무엇인가?
허깅페이스(Hugging Face)가 공개한 SmolLM3는 3B(30억) 파라미터 규모의 경량 언어 모델로, 같은 클래스의 모델들을 압도하는 성능으로 주목받고 있습니다. 특히 4B 파라미터 모델인 Gemma3-4B와 Qwen3-4B에 필적하는 벤치마크 결과를 보여주며 "작지만 강한" 모델의 새로운 기준을 세웠습니다.
핵심 기술 사양
- 11.2조(11.2T) 토큰으로 사전 학습
- 최대 128K 토큰 컨텍스트 지원 (YARN 외삽 기법 활용)
- 영어, 프랑스어, 스페인어, 독일어, 이탈리아어, 포르투갈어 6개 언어 네이티브 지원
- 듀얼 모드 추론(Dual-mode Reasoning) 기능 탑재
- GQA와 NoPE 아키텍처 적용 (3:1 비율)
벤치마크 성능
SmolLM3는 수학 및 코딩 분야에서 특히 두드러진 성능을 보입니다. AIME 2025에서 36.7%(기존 대비 9.3% 향상), LiveCodeBench 경쟁 프로그래밍에서 30.0%(기존 15.2%), 대학원 수준 추론 GPQA Diamond에서 41.7%(기존 35.7%)를 기록했습니다.
학습 방법론
사후 학습(post-training) 단계에서 1400억 토큰의 추론 데이터로 중간 학습을 진행한 후, 지도 파인튜닝(SFT)과 앵커드 선호 최적화(APO, Anchored Preference Optimization)를 통한 정렬 과정을 거쳤습니다. 이를 통해 소형 모델의 한계를 크게 극복했습니다.
함께 읽으면 좋은 기사
LFM2.5-VL-DSpark를 이용한 비전-언어 모델의 속도 향상
인공지능(AI)가 보유한 지식과 지능을 사용하여 사람과 같은 대화를 하는 대화형 AI를 개발하는 연구자들은, 대화형 AI가 인간의 감정과 감정을 인식하고 반영할 수 있도록 하는 기술을 개발하는 데 어려움을 겪고 있습니다. 인간과 같은 감정을 가진 대화형 AI를 개발하는 것은 현재 AI 연구의 주요 목표입니다. 인간과 같은 감정을 가진 대화형 AI는 인간의 감정을 인식하고 반영할 수 있어, 인
NVIDIA 워프(NVIDIA Warp)와 MJ워프(MJWarp)를 이용한 로봇 시뮬레이션 및 학습 워크플로우 가속 방법
AI가 인간의 지적 능력을 능가하는지 여부에 대한 논쟁은 오래전부터 시작되어 왔습니다. 최근에 나온 연구에서, 대규모 언어 모델(LLM)과 인간의 지적 능력을 비교하는 연구가 진행되었습니다. 연구에서는 LLM과 인간을 대상으로 지적 능력을 측정하는 테스트를 진행하였습니다. 연구 결과, LLM은 인간과 비슷한 수준의 지적 능력을 보여주었습니다. LLM은 인간과 비슷한 수준의 논리적 추론, 문제
실시간 다중 발언자 AI를 위한 NVIDIA Nemotron 3 다이어리화
NVIDIA Nemotron 3을 사용하여 실시간 다중 발언자 인공지능을 구축하는 방법을 소개합니다. 다중 발언자 인식과 대화 분석을 위한 AI 기술을 사용하여 다양한 애플리케이션을 개발할 수 있습니다.
준 김, oMLX 개발자이자 관리자, 허징페이스에 합류하여 MLX 커뮤니티를 지원합니다.
AI가 인간의 뇌와 비슷하게 작동하는지 밝혀냈다. 인공지능(AI)이 인간의 뇌와 비슷하게 작동하는지 밝혀냈다. 영국의 연구진은 AI가 인간의 뇌와 비슷하게 작동하는지 알아보기 위해 연구를 진행했다. 연구 결과, AI가 인간의 뇌와 비슷하게 작동하는 것이 밝혀졌다고 한다. 연구진은 AI를 사용하여 다양한 문제를 해결할 수 있도록 하기 위해 AI가 인간의 뇌와 비슷하게 작동해야 한다고 생각했다.
트랜스폼러가 이제는 llama.cpp 계산량을 실행한다!
트랜스폼러 기술을 사용하여 대규모 언어 모델(LLM) 계산량을 실행하는 새로운 가능성을 열어두고 있습니다. 트랜스폼러 기술은 이전에 대규모 언어 모델(LLM) 계산량을 실행하기에는 너무 느렸다지만, 이제는 더 빠른 속도로 계산량을 실행할 수 있게되었습니다.
UK AISI와 EvalEval이 벤치마크 결과를 재현 가능하게 만드는 방법
UK AISI와 EvalEval은 AI 연구의 투명성과 신뢰성을 높이기 위해 벤치마크 결과를 재현 가능하게 만드는 방법을 개발하고 있습니다. 이들은 데이터셋과 실험 설정을 공유하여 연구 결과의 신뢰성을 높이고, 연구자간의 비교와 평가를 facilite합니다.
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.