위험성 선택적 안전을 위한 counterfactual neighborhood risk fields: 시각-언어 모델의 증거 기반 안전성

시각-언어 모델의 안전성을 보장하기 위해, 연구팀은 counterfactual neighborhood risk fields(CNRF)라는 새로운 안전성 프레임워크를 제시합니다. CNRF는 위험성 평가를 위한 새로운 접근 방식으로, 유해성과 무해성을 구분하는 대신, 위험성 평가를 위한 증거를 생성합니다.

2026년 10월 17일 AI 자동 생성

#arXiv #멀티모달

위험성 선택적 안전을 위한 counterfactual neighborhood risk fields

시각-언어 모델(VLM)의 안전성을 보장하기 위해, 연구팀은 counterfactual neighborhood risk fields(CNRF)라는 새로운 안전성 프레임워크를 제시합니다. CNRF는 위험성 평가를 위한 새로운 접근 방식으로, 유해성과 무해성을 구분하는 대신, 위험성 평가를 위한 증거를 생성합니다.

CNRF는 유해성과 무해성을 구분하는 대신, 위험성 평가를 위한 증거를 생성하기 위해, 다음의 방법을 사용합니다.

context-matched benign-harmful counterfactual pairs 생성
representation differences를 capability-related risk directions로 사용
neighborhood support를 risk와 별도로 estimate

CNRF는 VLM의 안전성을 보장하기 위해, 다음과 같은 방법을 사용합니다.

victim-adaptive interface를 사용하여, 다른 VLM 아키텍처에서 안전성 관찰을 다루기 위해
selected requests를 same-victim response review에 라우팅하기 위해

실험 결과, CNRF는 86.06-89.30%의 macro defense success rate를 달성하였으며, substantial benign-task utility를 유지하였습니다. 또한, query-matched references와 preserved context-direction correspondence는 low-false-positive regime에서 risk ranking을 향상시켰습니다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

LLM PC 7시간 전

라디올로지 보고서 구조화를 위한 모달리티 인식 Edge-배포 가능 에지 지향 인공지능

라디오로지(reporting) 보고서 구조화에 사용되는 대규모 언어 모델(Large Language Model)의 채택은 주로 제3자 클라우드 기반 모델 또는 고성능 GPU를 요구하는 대형 공개 모델에 의해 주도되었는데, 이는 데이터 프라이버시와 오프라인 운영이 필요하는 라디오로지 워크플로우의 임상 채택에 대한 중요한 제한 요인이다. 이를 해결하기 위해 MedPAO-Assist라는 에지-배포

LLM PC 1일 전

더 많은 것을 덜하는 것: 에지런트 컴퓨팅의 적합성에 대한 첫 원리적 탐색

인공지능(AI)이 기업 활동을 자동화하는 관심이 점점 증가하고 있습니다. 사용하기도 쉬우면서 비용도 많이 들면서 더 적은 것을 더 많이 할 수 있는 편리함이 있지만, 개발 속도, 성능, 운영 비용을 고려할 때, agent라는 개념과 기존의 대안인 로컬 컴퓨팅, Representational State Transfer (REST), Simple Object Access Protocol (SOA

LLM PC 2일 전

이벤트에서 추론까지 : 명시적 상태에 대한 계층적 규칙 조합

논문 제목: Event Reasoning System (ERS) 이 논문에서, 논리 시스템이 내놓는 것은 결론이고, 이에 대한 설명은 정당성이다. 결론을 내리려면, 실제로 이용 가능한 모든 정보에 대해 작업이 허용되는지, 중간 결과의 의존성이 경로의 끝까지 살아남는지, 그리고 주장의 변경에 따라 경로가 수정되는지 확인해야 한다. 우리는 Event Reasoning System (ERS)이라고

LLM PC 2일 전

사용자 인코더를 다시 생각해 보라: 시나리오 적응 사용자 표현을 위한 diffusioin 상태 라우팅

기존 대규모 언어 모델(LLM)-기반 사용자 인코더는 다종의 행동 로그를 시계열 예측[autoregressive (AR) prediction]을 통해 정적 표현으로 압축한다. 그러나 그들의 단방향 제약은 양방향 정보 흐름을 제한하고, 다원 신호의 공동 보존을 방해하며, 상호 모드 상호작용을 방해한다. 따라서 학습된 정적 표현은 다양한 하류 시나리오의 구체적인 증거 요구를 충족하기 어려운다.

LLM PC 6일 전

확산 모델의 교정 교육

대규모 언어 모델(LLM)은 오류 누적으로 고통받는 확산 모델의 문제를 해결하기 위해 새로운 방법을 제시합니다. 확산 모델은 실제 이미지에 잡음이 섞인 가상의 이미지에 대해 학습되지만, 예측의 오류로 인해 인식 시에는 이전 단계의 예측으로 구성된 입력을 사용하게 됩니다. 이러한 오류는 CFG와 같은 추가적인 도움 없이 확산 모델이 어려움을 겪는 이유 중 하나일 수 있습니다. 확산 모델에 대한

LLM PC 10월 9일

인공지능의 진실은 누가 말할 수 있나요? 인간중심 인공지능에서 모호성의 중요성

인공지능 시스템이 사람들과 상호작용하고 사람들을 대신하여 결정할 때, 인간의 해석을 이해하는 것이 인간중심 인공지능을 개발하는 데 중요해지고 있습니다. 그러나 많은 인간중심 작업에서 인간 해석은 모호성이 내재되어 있으며, 동일한 입력에 대해 동시에 합리적이고 유효한 여러 해석이 있을 수 있습니다. 이러한 모호성을 단일 목표로 줄이면 사람들의 인식, 판단, 경험의 다양성을 담은 의미 있는 정보를 무시할 수 있습니다.