본문으로 건너뛰기

검색

전체 기사

AI 모델 6일 전

의사 근거 있는 AI 지원 심리치료 접수 품질 보증

환자들이 인공지능(AI) 지원 정신과 입원 검진 시스템을 사용하기 전에, 건강 시스템은 이러한 도구를 질병 관리 표준에 따라 품질 보증을 위해 정기적으로 평가하는 방법이 필요하다. 의사들은 다른 입원 방식 사용할 수 있으므로, 이 작업을 평가하는 것은 (1) 다양한 인터뷰 접근 방식을 비교할 수 있는 지원, (2) 의사 부담을 최소화하는 것, (3) 건강 시스템이 이러한 기술을 배포하는 데

AI 모델 6일 전

내부 표현 변화와 예측 중요도 분리: 대규모 언어 모델의 훈련

대규모 언어 모델(LLM)의 내부 표현을 변경하는 훈련 방법에 대해 연구하였습니다. 훈련이 모델의 내부 메커니즘을 어떻게 변화시키는지 알아내고, 이 변화가 작업에 관련된 컴포넌트에 연결되어 있는지 확인하였습니다. 연구 결과, 훈련이 모델의 내부 표현을 변화시키는 방식은 작업에 관련된 컴포넌트의 위치와 상관이 없습니다.

AI 모델 6일 전

LLM의 환각 탐지: 정보 공유의 구조적 패턴을 따라 환각의 위상적 서명 탐지

연구진은 LLM의 주의 그래프 내 정보 흐름 패턴의 위상학적 구조를 분석하여 환각과 비환각 응답을 구별하는 데 효과적인 방법을 제안합니다. 연구진은 Forman-Ricci 가중치를 사용하여 주의 그래프 내 정보 병목 현상을 식별하고, 환각 응답과 관련된 주의 헤드의 반지름 및 글로벌 정보 흐름 특성을 캡처하는 방법을 제안합니다.

연구 6일 전

SAS 비전 트랜스폼러에 기반한 강화된 대비 학습

아티클 번호: 2609.21061v1 발표 유형: 새로운 개요: 합성 어레이 소나(SAS)를 사용하는 자동 목표 식별(AUTR)은 고급 해군 기능을 지원하지만, 깊은 학습은 희소한 목표 이미지를, 배경 잡음 및 인간의 평가를 제한한다. 우리는 바다 속 SAS AUTR을 위한 DINOv3 비전 트랜스포머(ViT) 모델을 3단계의 매개 변수 효율적인 프레임워크로 적응시킨다. 단계 1은 ViT 백

AI 모델 6일 전

Attention-Aware 라우팅: MoEs에서 라우팅과 주의를 결합하는 방법

Mixture-of-Experts 언어 모델에서 일반적으로 라우터는 토큰의隐藏 상태를 이용하여 EXPERT를 선택하고 중복을 줄이기 위해 EXPERT를 중복하여 사용합니다. 하지만 이 방법은 토큰의 현재 상태에만 의존하여 제한된 문맥 정보만을 사용합니다. 우리는 라우터에 시간적 및 스펙트럴 특징을 추가하여 Attention-Aware Routing (AAR)을 제안합니다. AAR은 모델의 문

AI 모델 6일 전

RBS-Attention : 반경 제한 스페어.prefill을 위한 장문언어 모델

대규모 언어 모델(LLM)의 추론은 점점 더 많은 데이터를 처리해야 하는 'prefill' 문제로 제한되고 있습니다. 이 문제를 해결하기 위해 'sparse block selection' 방법을 사용할 수 있지만, centroid가 많은 불필요한 토큰 중에서 중요하지 않은 토큰을 포함할 수 있습니다. 이 문제를 'mean dilution'이라고 부르고, RBS-Attention이라는 새로운