본문으로 건너뛰기

비전-언어 모델의 테스트 시간 적응을 위한 보완 메모리 시스템: ComMem

AI 자동 생성

시각-언어 모델(Vision-Language Models, VLMs)의 강력한 배포를 위해 테스트 시간에 적응(Test-time adaptation, TTA)이 필수적이다. 그러나 기존의 TTA 방법들은 대개 시간에 걸쳐 지식을 축적하거나 단일 모드 내에서 작동하는 경우가 많아 시각-언어 모델의 내재된 다중 모드 특성을 활용하지 못한다. 생물학적 뇌의 보완적 기억 시스템을 참고로 하여, 우리는 ComMem을 제안한다. ComMem은 두 가지 핵심 구성 요소로 구성되는데, 하나는 신경망이 고신뢰도 테스트 샘플에서 동적 시각 캐시를 형성하는 빠르게 적응하는 세부적인 기억이고, 다른 하나는 신경망이 지속적으로 글로벌 텍스트 프로토 타입을 보다 정교하게 개선하는 느리게 통합하는 추상적 기억이다. 테스트 인스턴스 당 ComMem은 두 기억 시스템을 동시에 최적화하여 모드 간 일관성을 보장한다. 15 개의 벤치마크 데이터셋에서 실험을 수행한 결과, ComMem은 자연 분포Shift와 데이터셋 간 일반화 모두에서 현재 최고 수준의 방법을 상회한다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

연구 3일 전

스트로크 위험도 예측을 위한 새로운 AI 기술: MedGate-Fusion

스트로크 위험도를 예측하는 것은 원치 않는 병력이 발생하기 전에 중요한 역할을 합니다. 그러나 이 과제는 의사들이 주기적으로 기록하는 생리학적 바이오마커와 비구조적인 의료 기록의 사이에 분산되어 있는 초기 위험 신호를 식별하는 어려움으로 인해 힘들어집니다. MedGate-Fusion은 이러한 문제를 해결하기 위해 처음 만나는 의료 기록의 의미론적 이야기와 10개의 정기적으로 기록된 위험 표시자를 통합하는 멀티 모달 게이트 아키텍처를 제안합니다. 이 아키텍처는 대규모 언어 모델(LLM)과 같은 기존의 AI 기술을 사용하여 의료 기록의 의미를 추출하고 생리학적 바이오마커의 정보를 통합하여 스트로크 위험도를 예측합니다.

연구 3일 전

기존의 전제 조건자들이 생의학 표준 표 데이터 학습을 개선하는가? 표준 표 데이터 학습 최적화에 대한 실증 연구

최근 구조화된 생물학적 데이터 분석에 있어서 표준화된 기초 모델(tabular foundation model)이 강력한 잠재력을 보인다. 그 중 하나인 TabPFN은 낮은 데이터 표준화 분류 작업에서 효과적인 접근 방식으로 나타났지만, 최적화 및 조건화 전략의 생물학적 세부 튜닝에 대한 영향은 여전히 크게 연구되지 않았다. 본 연구에서, 우리는 59 개의 생물학적 데이터셋(Alzheimer'

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.