규칙에 묶인 AI를 벗어나기: 정당성 신호를 통한 규칙에 따른 AI 평가

규칙에 따른 환경에서 AI 평가를 위해 기존의 동의도 측정법은 실패한다. 다중 결정을 논리적으로 일치시키는 정책에 따라 여러 판단이 가능하고, 동의도 지표는 유효한 판단을 처벌하며 모호성을 오류로 오인하는 '동의도 лов'에 빠진다. 본 연구에서는 평가를 정책에 기반한 정확성으로 formalize하고 정당성 지수(DI)와 모호성 지수(AI)를 도입한다. 또한, 추가적인 감사 패스를 필요로 하지 않고 사유 안정성을 추정하기 위해 확률 정당성 신호(PDS)를 도입한다. 본 연구에서는 LLM 사유 추적을 통한 통치 신호를 분류 출력이 아닌 통치 규칙 계층에서 논리적으로 유도할 수 있는 제안된 결정을 확인하는 감사 모델로 배치한다. 본 연구에서는 193,000+ Reddit 관리 결정을 포함한 다수의 커뮤니티와 평가 집단에서 framework를 검증하고, 동의도 기반과 정책에 기반한 지표 간 33-46.6%의 격차를 발견한다. 또한, 본 연구에서는 79.8-80.6%의 모델의 거짓 음성은 정책에 기반한 결정이 아닌 진정한 오류에 해당한다는 것을 발견한다. 본 연구에서는 37,286개의 동일한 결정을 3개 단계의 동일한 커뮤니티 규칙 하에서 감사함으로써 AI를 10.8% 감소시키는 반면 DI는 안정적임을 발견한다. 반복 샘플링 분석에 따르면 PDS의 분산은 통치 모호성에 의해 주로 결정되는 것으로 나타났다. 통치 게이트를 통해 이러한 신호를 빌려 78.6%의 자동화 커버리지와 64.9%의 위험 감소를 달성한다. 본 연구는 규칙에 따른 환경에서 평가를 동의도와의 비교 대신 사유에 기반한 유효성으로 전환해야 함을 보여준다.

2026년 4월 24일 AI 자동 생성

정당성 지수(DI)와 모호성 지수(AI)

정당성 지수(DI)는 AI가 정책에 기반한 결정을 내릴 수 있는지 여부를 측정한다. 모호성 지수(AI)는 AI가 정책에 기반한 결정이 아닌 모호한 결정을 내릴 수 있는지 여부를 측정한다.

확률 정당성 신호(PDS)

확률 정당성 신호(PDS)는 추가적인 감사 패스를 필요로 하지 않고 사유 안정성을 추정할 수 있다. PDS는 LLM 사유 추적을 통한 통치 신호를 분류 출력이 아닌 통치 규칙 계층에서 논리적으로 유도할 수 있는 제안된 결정을 확인하는 감사 모델로 배치한다.

검증

본 연구에서는 193,000+ Reddit 관리 결정을 포함한 다수의 커뮤니티와 평가 집단에서 framework를 검증하고, 동의도 기반과 정책에 기반한 지표 간 33-46.6%의 격차를 발견한다. 또한, 본 연구에서는 79.8-80.6%의 모델의 거짓 음성은 정책에 기반한 결정이 아닌 진정한 오류에 해당한다는 것을 발견한다.

결과

본 연구에서는 37,286개의 동일한 결정을 3개 단계의 동일한 커뮤니티 규칙 하에서 감사함으로써 AI를 10.8% 감소시키는 반면 DI는 안정적임을 발견한다. 반복 샘플링 분석에 따르면 PDS의 분산은 통치 모호성에 의해 주로 결정되는 것으로 나타났다. 통치 게이트를 통해 이러한 신호를 빌려 78.6%의 자동화 커버리지와 64.9%의 위험 감소를 달성한다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

AI 모델 4일 전

Anthropic의 연간 매출액 6,500억 달러로 급증

모델 제작자(MODEL MAKER)는 2개월 만에 연간 $18 억 달러의 매출을 추가했다.

AI 모델 4일 전

아마존이 책을 처음으로 판매하기 시작한 이후로 귀중한 책을 파괴하여 AI를 교육하고 있습니다.

진귀한 책들은 대규모 언어 모델(LLM) 교육에 매우 가치가 높다. 왜냐하면 이 모델들은 이미 온라인에서 접근할 수 있는 모든 것을 통해 교육을 받았기 때문이다.

AI 모델 8월 16일

구글 지니미(Google Gemini)의 보이는 워터마크를 끄는 방법이 나왔다!

구글은 이제 지니미와 플로(Google's AI video generator, Flow)에서 AI工具을 이용해 만든 미디어에 보이는 워터마크를 제거할 수 있는 기능을 제공합니다. 이 업데이트로, 사용자는 지니미와 플로의 새로운 '미디어 워터마크' 설정을 끌 수 있습니다. 워터마크가 끄면, 지니미에서 생성된 이미지, 비디오, 음악에 나타나는 '스파클(sparkle)' 워터마크가 사라집니다.

AI 모델 8월 16일

애플, 중국 위해 알리바바와 함께 자체 AI 모델을 교육

애플은 중국 시장에 맞는 맞춤형 AI 모델을 중국 기술巨인 알리바바와 함께 개발하고 훈련했다고 보고되었다. 이는 베이징과 워싱턴 간 커져가는 긴장감을 무시하고 중국과 미국 사이에 드문 획기적인 협력이다. 알리바바의 지원을 받으며 개발된 중국을 대상으로 한 대규모 언어 모델(LLM) 훈련은 알리바바와 함께 개발되었으며, 리트저스는 훈련에 대한 지원을 받았다고 세 명의 익명한 사람들의 진술에 근

AI 모델 8월 15일

대량 언어 모델(LLM) 개인화에 대한 대응: Meta-LoRA를 이용한 다원 도메인 선호도 학습

대규모 언어 모델(LLM)의 개인화를 위한 다원 도메인 선호도 학습은 새로운 대화 도메인에서 사용자 선호도에 맞는 응답을 생성하는 것을 목표로 합니다. 하지만 기존의 적응 방법은 적은 수의 대상 도메인 상호 작용만으로 업데이트한 크기를 조정하기 어려워 오버피팅을 일으키며, 역전파 방법은 사용자 선호도를 소스 도메인 오류와 혼동하여 불신할 수 있는 개인화 전제 조건과 부정적인 전이를 일으킵니다. 이러한 문제를 해결하기 위해, 우리는 PAC-Bayes-정규화된 Meta-LoRA를 제안하여, 업데이트한 크기를 증거의 질에 맞게 조정하고, 오버피팅을 최소화하며, 증거가 증가할 때 강한 개인화를 허용합니다.