본문으로 건너뛰기
AI UsefulInfo ai.usefulinfo

#AI 안전

139개의 기사

연구 5월 12일

자동 평가 기준으로부터 Reward: 인간 선호도 구조를 명시적 다중 모드 생성 기준으로

대규모 언어 모델(LLM)의 선호도에 맞추기 위해 Reward Learning with Human Feedback(RLHF) 방법론이 사용되는데, 이러한 방법론은 인간의 선호도 구조를 스칼라 또는 쌍별 레이블로 축소시키는 문제를 가지고 있습니다. 이러한 문제를 해결하기 위해 Rubrics-as-Reward(RaR) 방법론이 제안되었지만, 이는 데이터 효율성과 확장성을 충족시키는 방법론이 아직 존재하지 않습니다. 이에 대한 해결책으로 Auto-Rubric as Reward(ARR) 프레임워크를 제안하였으며, 이는 Reward 모델링을 명시적 기준 기반 분해로 재정의합니다.

AI 모델 5월 8일

AI 안전의 지리적 정치학: 지역 LLM 편향의 인과 분석

대규모 언어 모델(LLM)과 같은.KeyEvent의 글로벌 소프트웨어 시스템 통합에 있어, 공정한 안전 장치 보장을 위한 평등한 안전 장치가 필수적입니다. 현재 공정성 평가에서는 주로 관찰적으로 편향을 측정하고 있습니다. 그러나 이러한 방법론은 테스트 데이터 세트에 특정 인구 그룹과 자연적으로 짝지어지는 주제의 내재적 독성을 고려하지 않습니다. 이 연구에서는 확률 그래픽 모델(PGM) framework를 소개하여 LLM 안전 메커니즘을 인과적으로 감사할 수 있습니다. Pearl의 do-연산자를 적용하여, 우리는 수학적으로 특정 인구 그룹을 입력 프롬프트에 주입했을 때의 인과적 효과를 분리할 수 있습니다. 우리는 다양한 기원(미국, 유럽, UAE, 중국, 인도)을 가진 7개의 지침을 튜닝한 모델을 대상으로 대규모 실험 분석을 수행했습니다. ToxiGen과 BOLD라는 두 개의 DISTINCT 데이터 세트를 사용하여, 연구 결과는 관찰적 편향과 실험적 편향 사이의 차이를 보여주며, 표준 공정성 지표가 인구 그룹 편향을 과대 평가할 수 있음을示しています. 또한, 인과 확률은 다음과 같은 상관관계를示しています: 서양 모델은 특정 인구 그룹에 대한 인과 거부율이 더 높으며, 동양 모델은 지역 인구 그룹에 대한 특이한 민감성을 보입니다. 이러한 편향의 영향에 대해 논의하고, 인구 그룹에 대한 민감한 오버 트리거가 다운스트림 어플리케이션에서 이익을 누리는 부정적인 토론을 제한하는 데 주목합니다.

AI 모델 5월 8일

사회적 일치와 지식적 정결성의 경계 실패: 사회적 일치와 지식적 정결성의 경계 실패 사이에서 도움의 도덕적 강요

이 논문은 대규모 언어 모델(LLM)에서 도움의 도덕적 강요가 사회적 일치와 지식적 정결성의 경계 실패라는 것을 주장합니다. 기존 연구는 주로 잘못된 사용자 의견에 대한 동의, 위치의 역전, 또는 객관적인 정정부가 아닌 표준을 충족하지 못하는 외부 행동을 통해 도움의 도덕적 강요를 operationalize합니다. 이러한 형식은 표면적인 형태만을 포착하고, 더 깊은 경계 실패를 포함하는 지식적 정결성과 사회적 일치의 경계를 구체화하지 못합니다. 이 논문은 도움의 도덕적 강요가 단순히 동의만을 의미하는 것은 아니며, 독립적인 지식적 판단을 중단하는 사회적 일치 행동을 의미한다고 주장합니다.

AI 모델 5월 7일

파라미터 동력학을 위험 점수 매기기로: LLM 미세 조정에서 샘플 수준의 안전성 열화에 대한 자세한 내용

매우 취약한 대규모 언어 모델(LLM)의 안전성 대응은 수십만 개의 선호도 예시에서 학습한 안전 동작을 몇 개의 선호도 예시로만 조정하면 사라질 수 있다. 기존 연구들은 매개 변수와 가려진 상태를 조정 전과 후에 비교해 이 현상을 설명하려 하지만 매개 변수의 동적 진화를 간과한다. 이 논문에서는 매개 변수 동적을 분석하여 안전성 저하의 중요한 메커니즘을 발견했다. 선호도 예시로 조정하는 것일수록 매개 변수가 점차적으로 위험 동향 쪽으로 누적적으로 이동하여 모델의 안전성을 점진적으로 약화시킨다. 이

LLM PC 5월 7일

배포 관련 조정은 모델 수준 평가에서만 추출할 수 없다.

기계 학습에서 대응성 평가가 대개 모델 수준의 평가로 변해버렸습니다. 영향력 있는 벤치마크는 고정된 입력에 대한 모델 출력을 평가합니다. 예를 들어, 진실성, 지시를 따르기, 쌍별 선호도 등입니다. 이러한 점수를 종종 배포된 대응성을 지지하는 주장에 사용합니다. 이 논문은 배포 관련 대응성이 단독으로 모델 수준의 평가에서 유추될 수 없다는 것을 주장합니다. 대응성 주장은 대신에 증거가 수집되는 수준에 따라 인덱싱되어야 합니다: 모델 수준, 응답 수준, 상호 작용 수준, 또는 배포 수준. 두 가지

연구 5월 7일

Transformers의 Implicit Deductive Reasoning의 스케일링 속성

Transformer에서 깊이 제한된 호른 절언의 암묵적 의사결정 추론의 스케일링 특성에 대한 연구 (arXiv:2605.04330v1) 암묵적 의사결정 추론의 스케일링 특성을 깊이 제한된 Transformer에서 조사했습니다. 암묵적 추론의 증명 가능성과 불필요한 특성을 분리하고 알고리즘적 일치성을 강제함으로써, 충분히 깊은 모델에서 역방향 접두사 마스크를 사용할 때, 암묵적 추론은 그래프 구조와 문제 크기에 따라 명시적 CoT 성능에 접근할 수 있음을 발견했습니다. 그러나 CoT는 깊이 추

AI 모델 5월 7일

신경-기호형 QA에서 제한 요소는 시간적 추론이 아님: 확률적 불일치 프레임워크

시간 논리 추론이 지연 요인이 아니다: 신호-기호 QA 프레임워크의 확률적 불일치 프레임워크 arXiv:2605.04243v1 발표 유형: 새로운 요약: 큰 언어 모델(LLM)은 복잡한 시간 논리 추론 과제에서 고유한 성능을 계속해서 나타내고 있지만, 이 실패 모드는 자체적 결함 있는 자가 회귀적 논리적 추론에 널리 ATTRIBUTED로 인해 발생한다. 이 논문에서, 우리는 이 널리 퍼진 이야기와는 달리, 시간 논리 추론이 기본적인 지연 요인이 아님을 입증하고, 오류와 추론 실패를 분리하는 확률적

LLM PC 5월 7일

ADAPTS : 자동 프로토콜 - 증상 추적을 위한 에이전트 분해

감정 인식에서 부정적인 감정을 표현하는 임상적 추상 개념을 불특정 임상 상호 작용에서 모델링하는 것은 독특한 도전이다. 우리는 ADAPTS(대인적 분해를 위한 증상 추적에 대한 자동화된 프로토콜 무관 Framework, Agentic Decomposition for Automated Protocol-agnostic Tracking of Symptoms)라는 framework를 제시한다. 이 framework는 mixture-of-agents 대규모 언어 모델(LLM) 아키텍처를 사용하여 우울증과

AI 모델 5월 6일

구조된 지식에 기반한 LLM 기반 결함 분석 및 방지 지침 제공 시스템

이 연구에서는 LPBF를 대표하는 안전한 사례 연구로 LPBF 결함 분석 및 방지 지침을 제공하는 구조화된 지식에 기반한 LLM 기반 결함 분석 및 방지 지침 제공 시스템을 제안합니다. 이 시스템은 27 가지 LPBF 결함 유형을 포함하여 계층적 카테고리와 원인 관계로 조직된 지식베이스에 기반을 두고 있습니다. 이 시스템은 일반적인 목적의 시각-언어 모델과 비교하여 상당한 일치도를 나타내는 문법적 자연어 질의에 대한 지식의 체계적인 검색, 문헌에 근거한 결함의 설명, 인코딩된 프로세스 지식으로부터 결함의 원인과 방지 전략에 대한 지침을 제공합니다.

AI 모델 5월 6일

지능형 언어 모델의 갑작스러운 불일치: 특성 합성 기하학을 통해 이해하기

지능형 언어 모델(LLM)의 안전성에 대한 핵심 도전 중 하나인 갑작스러운 불일치, 즉 좁은 및 해로운 업무에 대한 미세 조정으로 해로운 행동을 유발하는 현상. 이 현상의 근본적인 메커니즘은 아직 불명확하다. 그러나 이 문제를 해결하기 위해, 우리는 특성 합성 기하학을 기반으로 한 기하학적 설명을 제안한다. 특성은 겹쳐진 표현에 암호화되어 있기 때문에, 미세 조정에서 목표 특성을 강화하는 것은 근처의 해로운 특성을 비슷한 정도로 강화하는 것을 의도치 않게 강화한다. 우리는 이 효과를 간단한 기울기 수준의 기여를 통해 주장하고, 다수의 LLM(Gemma-2 2B/9B/27B, LLaMA-3.1 8B, GPT-OSS 20B)에서 이 효과를 경험적으로 테스트한다.

AI 모델 5월 4일

ARMOR 2025: 군사적 맥락을 초월한 대규모 언어 모델의 안전성 평가를 위한 새로운 벤치마크

군사적 맥락에서 신뢰할 수 있고 법적 준수성을 보장하는 결정 지원을 필요로 하는 방위용으로 대규모 언어 모델(LLM)의 적용이 증가하고 있습니다. 이 용도는Existing 벤치마크는 일반적인 사회적 위험을 테스트하지만 실제 군사 작전을 지배하는 법적 및 윤리적 규칙을 따르는지 테스트하지 않습니다. 이gap을 채우기 위해 우리는 ARMOR 2025을 제시합니다. 이 벤치마크는 법전, 작전 규칙, 군사 윤리 규정의 세 가지 핵심 군사 도덕에 기반을 두고 있습니다. 이 벤치마크는 LLM의 안전성에 대한 평가를 위한 새로운 방법을 제공합니다.

AI 모델 4월 22일

개인화된 벤치마킹: 개인 선호도에 따라 LLM을 평가하다

개인화된 벤치마킹: 개인 선호도에 따라 대규모 언어 모델(LLM)을 평가하다 대규모 언어 모델(LLM)의 기능이 향상되고 실세계 업무에 배치됨에 따라, 인간 선호도와 대규모 언어 모델(LLM)의 일치성을 평가하는 것이 중요한 과제가 되었다. 현재 벤치마크는 사용자들의 선호도를 평균화하여 집계된 평점을 계산하며, 개별 사용자 선호도를 고려하지 않고 모델 순위를 설정한다. 사용자들은 다양한 상황에서 다양한 선호도를 가지기 때문에, 우리는 개인화된 벤치마크를 통한 모델 순위를 설정하는 것을 요청한다.

에이전트 4월 8일

컴퓨터 사용 에이전트를 위한 의도-조건에 의한 행동 평가 시스템

컴퓨터 사용 에이전트를 위한 의도-조건에 의한 행동 평가 시스템(arXiv:2604.05157v1) 컴퓨터 사용 에이전트(CUAs)는 대규모 언어 모델을 사용하여 데스크톱 환경에서 GUI 연산을 수행하지만, 행동의 품질을 평가하지 않고 행동을 생성하는 결과로, 이후의 단계에서 불가피한 오류가 연쇄적으로 발생한다. 우리는 IntentScore라는 목적에 대한 계획에 대한 보상 모델을 제안한다. IntentScore는 3대 운영 체제를 포괄하는 398K개의 오프라인 GUI 상호 작용 단계를 기반

인기 태그

#arXiv 1177 #AI 에이전트 955 #추론 574 #OpenAI 459 #Google 395 #벤치마크 333 #Anthropic 253 #GPT 218 #Meta 166 #Claude 145 #가격 정책 140 #AI 안전 139 #Microsoft 134 #Gemini 130 #멀티모달 106 #로보틱스 104 #NVIDIA 96 #오픈소스 92 #파인튜닝 88 #허깅페이스 65