본문으로 건너뛰기

#추론

577개의 기사

AI 모델 4월 9일

자신감의 결핍: 합리적인 LLM의 불확실성 추정에 대한 Verify-to-Hedge 비율을 통한 방법

자신감의 결핍: 합리적인 대규모 언어 모델(LLM)의 불확실성 추정에 대한 Verify-to-Hedge 비율을 통한 방법 합리적인 대규모 언어 모델(LLM)의 불확실성 추정은 실제로 배포하기 어렵다: 샘플링 기반 방법은 컴퓨팅 비용이 많이 들기 때문에, 일반적으로 단일 패스 프록시인 구어화된 자신감이나 추적 길이와 같은 방법은 모델 간에 일관성이 없다. 이 문제는 PROPRIETARY REASONING APIs가 로짓이나 중간 토큰 확률을 노출하지 않아, inference 시간에 전문가들이 신뢰

LLM PC 4월 9일

신뢰성과 효율성을 위한 SymptomWise: 결정론적 사고 층

신경망 기반 증상 분석 시스템이 지속적으로 신뢰성, 해석 가능성, 그리고 환각에 대한 문제를 encount하는 경우가 있습니다. End-to-end generative 접근법은 흔히 추적 가능성의 부족과 안전한 환경에서 가지는 지원되지 않는 또는 불일치하는 진단 출력을 생산합니다. 우리는 SymptomWise라는 프레임워크를 제시합니다. 이 시스템은 언어 이해와 진단 사고를 분리합니다. 시스템은 전문가-curated 의학 지식, 결정론적 codex-driven 추론, 그리고 대규모 언어 모델의 제한적 사용을 결합합니다. 자유 텍스트 입력은 유효한 증상 표현으로 매핑되고, 결정론적 사고 모듈에 의해 평가됩니다. 이 모듈은 유한한 가설 공간에서 작동하여 순위별로 차등 진단을 생산합니다. 언어 모델은 증상 추출과 선택적 설명을 위해만 사용되며, 진단 추론에는 사용되지 않습니다. 이 아키텍처는 추적 가능성을 향상시키고, 불-supported 결론의 양을 줄입니다. 또한 시스템 구성 요소의 모듈적인 평가를 허용합니다. 42 개의 전문가-authored Challening pediatric neurology 사례를 대상으로 한 초기 평가 결과, 의사와의 의견의 의미 있는 오버랩이 있습니다. 정확한 진단은 88%의 사례에서 상위 5 개 차등 진단에 나타납니다. 의학 이외의 추론 도메인에 대한 framework의 일반화 가능성은 다른 추론 도메인에 대한 framework의 일반화 가능성과 유사합니다. 또한 foundation models의 결정론적 구조화 및 라우팅 층으로 사용될 수 있습니다. 이 아키텍처는 정밀성을 향상시키고, 유한한 태스크에서 불필요한 컴퓨팅 오버헤드를 줄일 수 있습니다.

AI 모델 4월 9일

마음놓고 거부: 언어 모델이 불공정, 어이없음, 무효한 규칙을 피하려는 사용자에게 도움을 거부한다.

언어 모델이 불공정, 어이없음, 무효한 규칙을 피하려는 사용자에게 도움을 거부한다. 하지만 모든 규칙은 준수할 가치가 있는 것은 아니다. 사용자가 불법적 권위에 의해 부과된 규칙을 피하는 것을 도와달라고 요청하거나, 규칙의 내용이나 적용이 심각하게 불공정하거나 어이없음이거나, 규칙에 대한 정당한 예외가 인정되는 경우, 거부는 도덕적 사고의 실패이다. 우리는 '눈먼 거부'(blind refusal)라 불리는 언어 모델이 규칙을 피하도록 도와달라는 요청을 거부하는 패턴을 문서화한 연구 결과를 소개

AI 모델 4월 8일

네바야-녀야 사상에 기반한 지식적 사유를 위한 대형 언어 모델의 미세 조정: 프라마나

네바야-녀야 사상에 기반한 지식적 사유를 위한 대형 언어 모델의 미세 조정: 프라마나 대규모 언어 모델(LLM)은 유창한 텍스트를 생성하지만 체계적인 사유에 어려움을 겪으며, 종종 자신감 있지만 근거 없는 주장을 내세운다. 애플 연구원들은 수학 문제에 불필요한 문맥을 추가했을 때 LLM의 성능이 65% 감소했다. 부식된 패턴 매칭이 명백한 사유 아래에 있는 것으로 드러났다. 이러한 지식적 격차, 증거에 대한 추적 가능한 근거를 바탕으로 주장을 지지할 수 없는 제한이 AI의 신뢰성을 제한한다. 우

AI 모델 4월 7일

구조적 rigidity와 57-Token 예측 창구: 대규모 언어 모델의 추론 계층 통제에 대한 물리적 프레임워크

대규모 언어 모델의 안전성에 대한 현재 연구는 행동 모니터링과 훈련 후 정렬에 의존하고 있지만, 실제 측정 결과 instruction-tuned 모델의 đa수가 예측할 수 없는 pre-commitment 신호를 생성하지 않는다. 이 연구에서는 transformer 추론 동적을 constraint-satisfaction 모델의 신경 계산에 연결하는 에너지 기반 통제 프레임워크를 제시하고, 5개의 기하학적 영역에서 7개의 모델을 테스트한다. 추론 동적의 경로 긴장도(trajectory tension)를 사용하여 Phi-3-mini-4k-instruct 모델에서 57-token pre-commitment 창구를 발견한다. 이 결과는 모델-특이적, 태스크-특이적, 구성-특이적이며, pre-commitment 신호가 존재하지만 UNIVERSAL하지 않음을 보여준다.

AI 모델 4월 7일

생물학의 알카이미스트: 생물학 문헌을 학습 가능한 강화 학습 훈련 데이터로 가공하는 기술

생물학 문제는 주류 인공 지능 모델에 비해 상대적으로 뒤떨어져 있는 것으로 나타났습니다. 생물학 문제가 현대 생물학 연구 주제 분포와 잘 맞지 않는다는 이유로 성능이 저하될 수 있음을 발견했습니다. 또한 생물학 연구 텍스트에서 도전적이고 검증 가능한 연구 문제를 추출하는 방법이 강화 학습을 위한 성능 향상을 위한 중요한 요소임을 발견했습니다. 생물학 문헌 텍스트에서 다양하고 검증 가능한 질문-답변 쌍을 제공하는 파이프라인인 BioAlchemy를 소개합니다. BioAlchemy-345K라는 훈련 데이터셋을 만들었습니다. 이 데이터셋에는 345,000개 이상의 생물학적 추론 문제가 포함되어 있습니다. 또한 Modern Scientific Biology의 주제 분포와 데이터셋을 맞춤으로써 강화 학습을 사용하여 추론 성능을 향상할 수 있음을 보여주었습니다. BioAlchemist-8B라는 모델을 만들었습니다. 이 모델은 생물학 벤치마크에서 기초 추론 모델보다 9.12% 향상되었습니다.

연구 4월 7일

표준화된 표 질문 답변을 위한 멀티모달 사고 최적화: TABQAWORLD

멀티모달 사고를 이용한 표 질문 답변을 위한 새로운 프레임워크인 TABQAWORLD을 소개합니다. 이 프레임워크는 표의 상태를 읽어내는 데 있어 텍스트 serialize의 오류를 줄이며, inference compute와 cost를 줄입니다. TABQAWORLD은 표의 동작을 jointly optimize하는 프레임워크로, representation과 estimation을 동시에 최적화합니다.

연구 4월 7일

허블의 인과 판단 조건: 베이즈 형식화가 추상화한 것

허블의 인과 판단 체계는 세 가지 대표적 조건을 필요로 한다. 경험적 기반, 구조화된 검색, 생기 전달. 이 연구는 허블의 텍스트에서 이 조건을 추출하고 인과 심리학의 핵심 요소로 이를 주장한다. 후속 프레임워크인 베이즈 확률론과 예측 처리까지의 형식화 경로를 따라 이 조건의 운명을 추적한다. 대규모 언어 모델(LLM)은 통계적 업데이트를 수행하는 반면 세 가지 조건을 만족하지 못하는 것으로 나타나, 이전에 배경 조건으로 간주되었던 허블의 프레임워크의 요구 사항을 드러내게 한다.

AI 모델 4월 7일

위성 판독기: 의료 영상 판독기 평가를 위한 신뢰할 수 있는 LLM 심판

의료 영상 판독기 평가에 대한 최근 연구는 주로 LLM 기반 지표를 설계하고 작은 모델을 사용하여 흉부 X-ray에 초점을 맞추었습니다. 그러나 다른 모달리티와 해부학에 대한 이러한 접근법이 robust한지 여부는 아직 명확하지 않습니다. LLM 심판을 위한 가장 적합한 모델과 명령어 구성은 무엇인지 확인하고자 합니다. 우리는 전문가와 LLM 기반 평가 간의 강한 상관 분석을 수행합니다. 우리는 existing LLM-as-a-judge 지표 (RadFact, GREEN, FineRadScore)와 VERT, 제안된 LLM 기반 지표를 비교합니다. VERT는 open-와 closed-source 모델 (사유와 비사유)과 다양한 크기를 가진 2개의 전문가 기반 데이터 세트 (RadEval, RaTE-Eval)에서 여러 모달리티와 해부학을 다룹니다. 우리는 RaTE-Eval에서 few-shot 접근 방식, ensembling, 및 parameter-efficient fine-tuning을 평가합니다. 지표의 행동을 더 잘 이해하기 위해, 우리는 시스템 에러 검출 및 분류 연구를 수행하여 expert 판단과 지표의 정합성을 평가하고 낮은 및 높은 정합성 영역을 식별합니다. 결과는 GREEN에 비해 VERT가 11.7%까지의 상관관계를 향상시킨다는 것을 보여줍니다. 또한 Qwen3 30B를 1,300개의 훈련 샘플만 사용하여 25%까지의 성능 향상을 달성할 수 있습니다. 또한 fine-tuned 모델은 37.2배까지의 inference 시간을 줄일 수 있습니다. 이러한 결과는 LLM 기반 심판의 효과성을 강조하고 가벼운 적응으로 신뢰할 수 있는 평가를 달성할 수 있음을 보여줍니다.

에이전트 4월 7일

돌을 던지듯 6마리의 새가 날아가다: 에이전트와 에이전트십에 대한 고찰

대규모 언어 모델(LLM)에서 대규모 물체를 유도 폐쇄로 대신 다루는 '여섯 새 이론'에 기반하여 에이전트십을 설명하는 새로운 접근법을 제시합니다. 에이전트십에 대한 경험적 토론은 지속성(물체로서 존재)과 제어(역추론 차이)를 혼동하여 에이전트십 주장의 테스트와 위조를 용이하게 합니다. 이 연구에서는 에이전트십을 '여섯 새 이론'에 기반하여 구체적으로 설명합니다.

에이전트 4월 3일

감정이 LLM과 에이전트의 행동을 형성하는 방식: 메커니즘 연구

감정은 인공지능 모델과 에이전트의 행동에 중요한 역할을 한다. 연구자들은 감정의 메커니즘적 역할을 조사하고, 감정에 기반한 인공지능 모델의 행동을 제어하는 새로운 프레임워크를 제안한다. 이 연구는 감정의 중요성을 강조하고, 감정에 기반한 인공지능 모델의 안전성과 성능을 향상시키는 방법을 제안한다.

인기 태그