24개의 기사
이 연구에서는 **Ovis-Embedding**이라고 부르는 cutting-edge의 모든 모드(omni-modal) 임베딩 패밀리를 소개합니다. 이 임베딩은 텍스트, 이미지, 비디오, 오디오를 포함하는 원시 통합에 기반합니다. 기존의 임베딩은 각 모드별로 별개의 모드 탑(tower)을 구성하는 대신, Ovis-Embedding은 공통된 다모드 백본(backbone)을 사용하여 다중 모드 데
알리바바 그룹의 AI 부문은 7억 매개 변수만 있는 초경량 이미지 생성 모델인 Qwen 2.1 Image를 출시했다. 이 모델은 로컬 하드웨어인 RTX 3090과 같은 장비에서 작동할 수 있다.
TinyCeNN-LM은 프리트레인드 언어 모델의 주의 깊은 변환을 위한 새로운 프레임워크를 소개합니다. 이 프레임워크는 CeNN-inspired cellular-recurrent layers를 사용하여 변환을 수행하며, 변환된 모델의 성능을 평가하는 quality-gated post-training conversion을 수행합니다.
대규모 언어 모델(LLM)이 때로는 인간의 감정 반응과 유사한 방식으로 행동할 수 있다. 최근 연구에서는 이러한 현상을 설명할 수 있는 내부 표현을 식별했다. 우리는 LLM이 고통과 두려움, 슬픔, 일반적인 부정적 가치 사이에서 구별되는 내부 표현을 가지고 있는지, 이 표현이 고통과 같은 방식으로 작동하는지 여부를 묻고자 한다. 우리는 5가지 범주인 신체적, 심리적, 사회적, 도덕적, 인지적
Hy브리드 예측에서 언어 모델은 여러 신호 중 하나일 때 자주 사용된다. 시스템은 이미 시장, 대중, 통계적 예측을 가지고 있어 모델이 유용한 정보를 제공하는지 여부를 결정해야 한다. 따라서 독립된 모델 정확성보다는 상대적 compétence, 즉 모델이 제공하는 외부 예측의 외재적 예측 외에 추가적인 가치가 있는지 여부가 중요하다. 브라이어 손실(Brier loss)에서, 모델의 불일치가
Qwen 3.8 27B의 출시를 계기로, 우리는 이 공개 무게 AI 모델을 실행하기에 가장 적합한 하드웨어를 찾기 위해 신뢰할 수 있는 하드웨어를 테스트했습니다.
최적화 모델링과 제약 모델링은 깊은 도메인 전문 지식과 모델링 형식 언어에 대한 숙련도가 필요합니다. 이 연구에서는 대규모 언어 모델(LLM)의 최적화 모델링 성능을 향상시키기 위해 검색 증강 생성 PIPELINE을 개발했습니다. 이 PIPELINE은 커스텀 시스니스틱 데이터 세트를 사용하여 500개의 최적화 문제를 생성하고, LangChain LLM agent를 사용하여 문제를 해결했습니다. 실험 결과, Qwen 3 30B Instruct 모델을 사용한 PIPELINE의 정확도가 NL4OPT, MAMO Easy, MAMO Complex에서 각각 40%에서 72%, 40%에서 56%, 32%에서 56%로 향상되었습니다.
인공지능(AI) 분야의 하나인 대규모 언어 모델(LLM)이 점점 더 소규모와 중소기업(SME)에서 질문-답변 능력과 기업 의사결정 과정 지원을 위해 채택되고 있다. 그러나 LLM이 생성한 출력물에서 발생하는 환각은 정보 왜곡의 원인이 될 수 있어 SME 내에서 사용자의 신뢰도와 신뢰성을 떨어뜨려 있다. 외부 지식源을 모델링 과정에 통합하는 Retrieval-Augmented Generatio
컴퓨터 유체 동역학(CFD)은 현대 공학에서 중요한 역할을 하지만 OpenFOAM과 같은 오픈 소스 솔버를 사용하려면 상당한 지식과 기술, 그리고 시간이 걸리는 설정 파일 설정이 필요합니다. 이 부담을 줄이기 위해 AutoFOAM - 자가 진화하는 대규모 언어 모델(LLM) agent를 제안합니다. 이 agent는 자연어 명령만으로 OpenFOAM 시뮬레이션을 생성, 평가, 실행, 진화시킵니
장기 논리적 추론 모델의 최근 발전으로 인해 테스트 시간 척도 패러다임 하에서 더 긴 추론 문맥 길이가 증가하고 있습니다. 그러나 표준 자기 주의의 O(n^2) 계산 복잡성으로 인해 장기-CoT 논리적 추론의 배포는 생산 환경에서 제한됩니다. 이를 해결하기 위해 우리는 LISA(LISA)를 제안합니다. LISA는 원래 모델에 플러그 앤 플레이 주의 대체 모듈로 사용할 수 있는 플러그 앤 플레이 주의 대체 모듈입니다. LISA는 원래 모델에 두 가지 가벼운 구성 요소를 병렬로 통합합니다: (1) 선형 주의 모듈이 장거리 기억을 제공하는 O(n) 시간 복잡도; (2) 광속 인덱서가 전체 문맥에서 토큰의 상위 M을 선택하여 광속 자기 주의에 입력합니다. 두 가지 Branch는 게이트 메커니즘을 통해 결합되며, n 토큰을 생성하는 데 O(n^2)에서 O(nM) (M << n)로의 예측 복잡성을 줄입니다.
인공지능 민주주의는 주로 대규모 언어 모델의 일반성을 맞추는 문제가 아니고, 대규모 언어 모델(LLM)가 하드웨어와 관리 제약으로 인해 일반 기관이 만족할 수 있는 범위 내에서 선택, 감사, 분산되도록 할 수 있는 문제입니다. 본 논문은 135M에서 3B 파라미터까지의 9개의 오픈-웨이트 언어 모델이 1,085 개의 예시와 16 개의 주제를 가진 다중 선택 시험지에 대한 구조화된 지역 배포를
애플은 중국 시장에서 인공지능(AI) 사업을 확대하기 위해 알리바바의 퀸 AI와 협력한다. 이 협력은 중국 시장에서 애플의 AI 사업을 진전시키는 중요한 계기가 될 전망이다.
금융 규제 기관들이 데이터 거주지 규칙을 따라 운영할 때, 기관의 경계 내에서 작동할 수 있는 Tenant-owned 언어 모델이 필요하다. 이 논문은 두 개의 관련 FAOS 연구를 하나의 기계 및 제어 문서로 합병한다. 첫 번째로, 논문은 ontology-amplified distillation의 proof-of-mechanism 연구 결과를 보고한다. Foundation AgenticOS
수학 분야에서 AI를 이용한 최근 성과는 주로 자동 공식화와 정리 증명에 집중되어 왔다. 그러나 대규모 언어 모델(LLM)에서 컴퓨터 대수 시스템(CAS)의 역할은 아직 충분히 연구되지 않았다. 우리는 SageMath에서 얻은 검증 가능한 feedback와 Context7의 최신 문서를 결합한 ReAct-style 대인적인 설정을 제안한다. 또한 RealMath 벤치마크에서 연구 수준의 수학
대규모 언어 모델(LLM)을 목표 가치 함수와 일치시키는 데 있어 중요한 진전이 이루어졌습니다. 우리는 LLM이 (포스트-)학습 시 잘 일치되더라도, 여전히 합리적인 가치 maximization에서 실패할 수 있음을 주장합니다. 이 간격을 합리적 가치 위험(rational value risk)으로 정의하여 수학적으로 정의합니다. 이는 모델의 배포된 추론 전략과 합리적인 동등체가 되는 응답의
대규모 언어 모델(LLMs)은 구조화된 의료 데이터에 점점 더 많이 적용되고 있지만 이러한 작업에서 자신의 지식 한계를 인식할 수 있는지 여부는 아직 탐구되지 않았다. 우리는 이러한 질문을 구조화된 데이터에 대한 epistemic 불확실성을 줄이기 위해 cross-model attribution divergence를 통해 연구한다. 또한 attribution divergence 분석을 통해
오디오-비전 대규모 언어 모델(LLM)이 장기 동영상 이해를 위한 강력한 약속을 보유하고 있지만, 동영상 토큰과 키-값(KV) 캐시의 선형 성장으로 인해 장기 동영상 추론이 기본적으로 제한된다. 오디오-비전 대규모 언어 모델을 위한 메모리 효율적인 스트리밍 프레임워크인 OmniMem을 제시한다. 기존 압축 방법이 모든 토큰을 균일하게 다루는 것과 달리, OmniMem은 모달리티-aware 메
기업용 인공지능(AI) agent의 전개 전 검증은 대규모 언어 모델(LLM) 능력 평가와 운영 배포 사이에 존재하는 중요한 빈틈입니다. 운영 배포 이후 모니터링, 인간의 participation을 포함한 제어, 프롬프트 단위의 경계는 한 agent가 운영 배포에 참여할 경우에 제한된 보장을 제공합니다. 우리는 ontology-grounded verification framework를 제안합
물리학 문제를 텍스트에서 다이어그램으로 생성하는 것은 물리 법칙을 엄격히 지키는 것을 요구한다. 현재 생성 모델은 시각적으로 가능성이 높은 출력을 생성하지만, 힘 벡터를 무작위로 생성하고, 보존 법칙을 무시하고, 기하학적 제약을 위반한다. 우리는 물리 법칙을 지키는 신경符号 pipeline인 PhyDrawGen을 제안한다. 먼저 대규모 언어 모델이 문제 텍스트에서 유형화된 장면 그래프를 추출
악성거래 및 Money Laundering(AML) 검출은 대규모 언어 모델(LLM)의 고가치 도메인 중 하나입니다. 그러나 이들은 일반적인 채팅 작업로드와 달리 서비스 요구 사항이 크게 다릅니다. 규제 요청은 종종 전위-heavy, 스키마-제한적이고 증거-부하되는 특성을 나타냅니다. 이러한 속성은 전위 재사용, KV 캐시 효율성, 런타임 튜닝, 모델 오케스트레이션 및 출력 검증이 첫 번째 시스템 문제가 됩니다. 이 논문은 악성거래 및 AML 작업로드를 위한 작업-감각 LLMOps 스택을 소개합니다. 이 스택은 Meta Llama 및 Alibaba Qwen과 같은 자체 호스트 오픈 가중 모델을 사용합니다. 작업-감각 LLMOps 스택은 vLLM-style 런타임 튜닝, PagedAttention, 자동 전위 캐싱, 다중 어댑터 서비스, 어댑터 및 전위 길이-감각 배치, 슬립/와이클라이프 관리, 예측적 디코딩 및 옵션 프리필/디코딩 분리화를 포함합니다.
Chain-of-thought (CoT) reasoning과 reasoning-tuned 모델은 얕은 가설 편향을 줄이기 위해 주로 사용된다. 하지만, 위치 편향에 대해 이것이 진실일까? 실제로 위치 편향은 모델의 길이와 상관관계가 있다.
Terminus-4B: 더 작은 모델이 프론티어 대규모 언어 모델(LLM) 대신 에이전트 실행 작업에서 대체할 수 있을까? 현대 코딩 에이전트는 특화된 서브태스크를 서브에이전트에 위임하는데, 서브에이전트는 좁은 책임을 맡는 더 작은 에이전트 루프이다. 이 아키텍처 패턴은 메인 에이전트의 컨텍스트 창을 깨끗하게 유지하기 위해 verbose 출력(예: 빌드 로그, 테스트 결과 등)을 서브에이전트 컨텍스트 내에 분리한다. 에이전트가 이러한 작업을 위해 서브에이전트를 사용할 때, 일반적으로 프론티어
arXiv:2604.02585v1 Announce Type: new Abstract: LLMs are increasingly used for high-stakes decision-making, yet their sensitivity to spurious contextual information can introduce harmful biases. This
DeepSeek-R1 공개로 촉발된 오픈소스 AI 혁명이 1년을 맞이했습니다. 허깅페이스가 분석한 이 격변의 1년을 돌아보며 글로벌 AI 세력 지형의 변화를 살펴봅니다.
