1177개의 기사
대규모 멀티모달 언어 모델(Multimodal Large Language Model, MLLM)의 효율성을 향상시키기 위해 시각 토큰 압축을 사용하는 방법을 제안합니다. 이 방법은 중간 언어 모델 층의 주의 집중을 예측하여 시각 토큰의 중요도를 평가합니다. 이 방법은 existing inference acceleration techniques와 호환되며, 10개의 benchmark에서 97.5%의 unpruned model 성능을 유지하며, 5.56%의 시각 토큰만 사용하여 3.09배의 end-to-end speedup을 달성합니다.
arXiv:2608.06410v1 발표 종류: 새로운 초록: 자동화된 agent 설계는 반복적인 수정, 평가, 피드백 요약을 통해 agent를 개선하는 데 도움이 됩니다. 현재 방법들은 주로 후보자 중심(focus on candidate agents)입니다: 반복되는 경험이 후보자 agent를 중심으로 조직되기 때문에, 수정 진행 상황은 암묵적으로 표현됩니다. 이로 인해, 불필요한 수정 목표
그래프 분석에서 동질한 집단을 식별하는 데 목표를 둔 커뮤니티 탐지는 기본적인 작업입니다. 기존의 목표 지향적인 방법은 복잡한 그래프 구조에 직면하여 어려움을 겪고 있지만, 깊은 학습 기반 접근법은 해석 가능성과 함께 레이블이 필요하며 학습이 필요합니다. 강력한 논리적 추론 능력과 세계 지식이 있는 대규모 언어 모델(LLM)은 해석 가능한 레이블이 없는 커뮤니티 탐지에 hứ부로 보입니다. 이
인간의 선호도를 학습하는 데는 보상 모델이 중요하지만, 그들의 예측에 영향을 미치는 요인을 식별하는 것은 어렵다. 최근 스파스 모이티어스-오브-익스퍼트( Sparse Mixture-of-Experts, MoE) 보상 모델은 전문가에게 특화된 전문가에게 요청을 라우팅하고 라우팅 가중치가 높은 예시를 통해 전문가의 특성을 특성화하여 해석성을 높이기 위해 노력하고 있다. 그러나 라우팅 가중치는 전
최근 바이트 레벨의 대규모 언어 모델(LLM)은 동적으로 크기를 조절한 패치로 바이트를 그룹화하여 토크나이저-free 모델링을 점점 더 경쟁력을 높이고 있습니다. 그러나 현재의 바이트 패치 아키텍처는 여전히 모든 패치에 동일한 밀도 피드 포워드 계산을 적용합니다. 이.uniform 계산은 패치 의미와 그Granularity의 변화를 고려하지 못하여 모델 용량을 적절하게 조정하지 못합니다. 이
arXiv:2608.06394v1 발표 알림 유형: 새로운 Abstract: 다중 레이블 노드 분류는 그래프 학습에서 노드가 동시에 여러 의미를 나타내는 중요한 문제입니다. 현재 다중 레이블 노드 분류를 위한 방법들은 다중 레이블을 효과적으로 모델링할 수 있지만, 모델이 훈련 및 테스트되는 동일한 그래프 도메인 내에서만 고려되기 때문에, 제한된 다중 도메인 일반화만을 제공합니다. 최근 그래프
온라인 환경에서 다단계 agent를 학습시키기 위한 privileged on-policy distillation은 teacher가 student의 각 단계마다 training-only reference를 사용하여 response를 재점검할 수 있도록 해줍니다. 그러나 student의 이전 동작은 실행 상태를 계속해서 변경합니다. student가 다른 동작을 취하거나 subgoal을 다른 순서
3D Gaussian Splatting (3DGS) 기술은 빠르고 photorealistic한 말하는 얼굴 렌더링을 지원하지만, 정확한 입 운동은 여전히 어렵다: 입 운동은 종종 과도하게 smooth화되어 hard articulatory constraint(예: bilabial closure)와도 충돌하여 유명한 "leaky mouth" artifact를 생산한다. 핵심 난점은 연속적인 음성
대규모 언어 모델(LLM) 검열 장치가 장기적인 웹 상호작용을 통해 어려운 질문에 대해 대응하는 것은 복잡하고 취약한 과정이지만, 작은 추론 오류가 장기적인 노이즈 트레이저지로 퍼져서 유창하지만 오류 있는 대답으로 이어질 수 있다. 이러한 실패를 진단하는 것은 어렵고, 인간이 수집할 수 있는 매우 긴 실행 추적을 수동으로 검토해야 하는데, 이는 인간의 능력 범위 이상이다. 그러므로 우리는 S
Otter는 인간의 체스 움직임을 예측하기 위해 시간과 역사를 고려하는 순차적 프로세스를 모델링하는 대규모 언어 모델(LLM)입니다. 이는 이전의 체스 모델인 Maia 2보다 더 적은 파라미터와 데이터로 더 높은 정확도를 달성했습니다.
Event 중심의 지능적인 분석 시스템은 위험 경보, 의사 결정 지원 및 논리 이해를 위해 명시적 원인-효과 이벤트 지식에 의존한다. 그러나 기존의 인스턴스 수준 원인 pairs는 저빈도 장골 및 미래에 발생할 수 있는 이벤트 combinations에서 심각한 일반화 결함을 겪고 있다. 이러한 한계를 해결하기 위해 본 연구에서는 Abstract Event Causal Rule (AECR)이라
대규모 언어 모델(LLM)-agent 생태계는 재사용 가능한 기술 skill을围싸는 혼합 모달리티 패키지로 빠르게 성장하고 있습니다: 메타데이터, 자연어 지시문, 코드, 도구, 참고 문헌 및 작업 흐름입니다. 기술 skill이 시장_ARTIFACT로되면 재사용을 감사하는 문제는 일반 코드 복제 감지와 같은 문제가 아니게되었습니다. 현재 감지는 단일 모달리티 소스 코드 또는 전체 패키지 유사성
학습 모델은 급성 이식성 뇌졸중의 90일 결과 예측에서 강력한 예측 정확성을 달성했지만, 모델의 설명이 의사들의 논리에 맞지 않는다는 점으로 인해 임상 적용은 제한적이다. 의사 사용자 연구를 통해 임상 지침에 맞는 기준을 요구받은 우리는 연속 예측자들이 성능을 포기하지 않고 임상적으로 교육된 범주적 인코딩으로 대체될 수 있는지 여부를 묻는다. 유럽의 여러 센터를 기반으로 한 데이터베이스를 세
대규모 언어 모델(LLM)은 이론적으로 해결할 수 있는 문제를 해결하지 못하는 경우가 종종 있습니다. 하지만 이러한 문제는 모델의 전반적인 능력 때문이 아니라 중간 단계의 지역적인 추론 버그 때문이라고 주장합니다. 이러한 버그는 자주 수정할 수 있습니다. 강력한 모델이 해결한 동일한 문제의 prefix를 사용하여 약한 모델의 patch를 삽입하면 올바른 해결책으로 향하는 경로를 재지정할 수
Ignition Index를 제시합니다. 이는 전이 모델 언어 모델에서 Global Workspace Theory의 (GWT) 모든-아니면-점화 예측을 operationalize하는 유효한 스칼라 지표입니다. 이 지표는 입력 신호 강도의 함수로 per-layer 선형 프로브 정확도를 4-매개 변수 시그모이드에 적합시켜, 기울기 매개변수 beta-hat을 추출합니다: 높은 값은 급격한, 점화와
기업의 운영은 여러 가지 다른 종류의 비즈니스 시스템과 정보 응용 프로그램에 의존하는데, 이로 인해 심각한 데이터 격리와 프로세스 분할이 발생한다. 기업은 이러한 응용 프로그램을 구축하기 위해 재정적이고 물리적 자원을 크게 투자했지만, 그들을 효과적으로 활용하고 조율하는 것은 여전히 어려운 과제이다. 기업 응용 프로그램 통합에 대한 전통적인 접근 방식은 Enterprise Service Bu
신경symbolic AI 시스템은 머신 러닝과 symbol reasoning을 통합하는 시스템으로 빠르게 주목을 받고 있습니다. 이들은 신경망과 언어 모델의 데이터 기반 통계적 접근 방식과 함께 symbol reasoning 알고리즘을 통합하여 많은 실세계적 응용 프로그램을 특징으로 하는 고위험 영역이나 데이터 부족한 영역에서 작동할 수 있습니다. 우리는 신경symbolic AI가 머신 러닝
생물학적 시스템은 제한된 인식 대역폭에서 상충하는 요구를 규제해야 하며, 하나의 추정치를 보다 구체화시키는 것은 다른 추정치를 보다 구체화시키지 못하게 하는 것이다. 따라서 고정 예산 시스템은 인식의 정밀도를 어디에 할당할지 결정해야 한다. 우리는 생존을 위해 여러 신체적 필요를 충족시켜야 하는 포식자에 대해 연구한다. 이 포식자는 주어진 몸 상태에 대한 믿음, 가장 필요한 채널을 식별, 그
인공지능 시스템 및 디지털 제품의 평가를 위한 인간 평가가 비용이 많이 들고 느리고 확대하기 어렵다. 오프라인 평가가 더 확대하기 쉬우나 인간 다양성과 상호 작용 행위를 자주 추상화한다. 따라서 MatrAIx를 소개한다. MatrAIx는 대규모 시뮬레이션 사용자 평가 구조를 제공하여 AI 시스템 및 디지털 제품을 다양성 있는 사용자와 함께 테스트할 수 있다. MatrAIx에는 세 가지 핵심
대규모 언어 모델(LLM)과 같은 이전에 훈련된 인식 모델을 새로운 환경에서 사용하면 분포가 변화하는 경우 정확도가 저하되며 단독으로 이를 회복시키려면 결합 방식을 사용하는 것만으로는 충분하지 않다. 결합 방식 중 다수결 투표는 재콜을 위해 정밀도를 희생하고 coordinated 실패에 취약하다. 이전의 메타인지 방법은 논리적 규칙을 통해 모델의 오류를 식별하지만, 실제로 새로운 장면에 적용
전자뇌파 분석(Electroencephalography, EEG)은 단순히 녹음파일에 레이블을 할당하는 것 이상으로, 자연어 명령, 신호처리, 양적 증거, 과학적 해석과 연결된 워크플로우가 필요하다. 이를 우리는 \emph{전체적인 EEG 이해}라고 부른다. 그러나 현재 평가는 주로 단일 분리적 인코딩 작업이나 시스템에 특화된 데모에 초점을 맞추고 있으므로, 대규모 언어 모델(LLMs)의 c
대규모 언어 모델(LLM)代理는 고위험 분야인 금융 상담 등에서 개인화된 보조원으로 점점 더 많이 사용되고 있지만, 여전히 장기 시야에서 개인화된 사용자 모델을 유지하고 업데이트할 수 있는지 불분명하다. 현재 개인화된 기억 측정 기준은 주로 사실적 기억력이나 약한 제약 조건에 의한 모델 생성 경로에 의존하여, 이벤트 기반 선호도 적응은 여전히 미흡하다. 우리는 FinPerMA라는 이벤트 기반
금융 AI agent를 평가하는 새로운 표준인 FinProBench를 소개합니다. 이 표준은 전문가들의 실무 표준을 반영하여 AI agent의 평가 기준을 설정합니다. FinProBench는 다양한 금융 직무를 포함하는 1,723개의 커밋된 실무 표본을 사용하여, 다양한 금융 업계와 57개의 직무를 포함하는 초기 평가 세트를 제공합니다.
데이터 지능의 중요한 문제 중 하나는 구조화된 표 데이터에서부터 BOTH 텍스트 분석과 시각화 차트를 포함하는 전문적인 멀티모달 보고서를 자동으로 생성하는 것입니다. 현재 방법론은 고정된 선형 PIPELINE과 분리된 SUBTASK PROCESSING으로 인해 사실의 정확도, 시각적 품질, 그리고 논리적 일관성을 동시에 최적화하는 것을 방해하고 있습니다. 이러한 문제를 해결하기 위해, 이 논
