88개의 기사
지능형 언어 모델(LLM)의 안전성에 대한 핵심 도전 중 하나인 갑작스러운 불일치, 즉 좁은 및 해로운 업무에 대한 미세 조정으로 해로운 행동을 유발하는 현상. 이 현상의 근본적인 메커니즘은 아직 불명확하다. 그러나 이 문제를 해결하기 위해, 우리는 특성 합성 기하학을 기반으로 한 기하학적 설명을 제안한다. 특성은 겹쳐진 표현에 암호화되어 있기 때문에, 미세 조정에서 목표 특성을 강화하는 것은 근처의 해로운 특성을 비슷한 정도로 강화하는 것을 의도치 않게 강화한다. 우리는 이 효과를 간단한 기울기 수준의 기여를 통해 주장하고, 다수의 LLM(Gemma-2 2B/9B/27B, LLaMA-3.1 8B, GPT-OSS 20B)에서 이 효과를 경험적으로 테스트한다.
Sentence Transformers를 사용하여 다변식 임베딩 및 래어 랙커 모델을 훈련하고 미세 조정하는 방법에 대해 알아보겠습니다. 이 기법은 대규모 언어 모델(LLM)과 같은 다양한 데이터 소스를 통합하여 더 나은 성능을 달성할 수 있습니다.
대규모 언어 모델(LLM)은 현대 AI 워크플로우의 중심을 이룹니다. 그러나 오류를 디버깅하는 것은 불투명하고 확률적 성질 및 다양한 작업과 환경에서 오류를 진단하는 어려움으로 인해 지속적인 도전이었습니다. 이 논문은 대규모 언어 모델 디버깅을 위한 체계적인 접근법을 소개합니다. 이 접근법은 모델을 관찰 가능한 시스템으로 다루고, 오류 감지부터 모델 개선까지 구조화된, 모델 독립적인 방법을 제공합니다. 이 접근법은 평가, 해석성 및 오류 분석 관행을 통합하여, 모델 약점을 반복적으로 진단하고, PROMPT 및 모델 매개변수를 개선하고, Fine-tuning 또는 평가를 위해 데이터를 적응할 수 있도록 합니다. 또한 표준화된 벤치마크 및 평가 기준이 부족한 상황에서도 효과적입니다.
인비트로 비전(InVitroVision)은 자연어로 Embryo 개발 자동화 설명을 위한 다중 모드 AI 모델입니다. 연구팀은 IVF 데이터의 다중 모드 특성을 활용하지 않고 주로 주석이 된 데이터에 의존하는 AI를 개선하기 위해 연구를 진행했습니다. 연구팀은 공개된 Embryo 시간 라프스 데이터를 사용하여 PaliGemma-2라는 다중 모드 비전-언어 모델을 1,000장의 이미지와 해당 캡션으로만 fine-tuning했습니다. 결과적으로 비전-언어 모델은 Embryo 형태학, 발생 세포 주기 및 발달 단계를 설명하는 자연어 캡션을 예측할 수 있었습니다. 연구 결과, fine-tuning된 모델 인 인비트로 비전(InVitroVision)은 상업용 모델인 ChatGPT 5.2과 기본 모델보다 성능이 우수했습니다. 또한 더 큰 훈련 데이터셋을 사용할수록 성능이 향상되었습니다. 이 연구는 대규모 언어 모델(LLM)에서 IVF 작업에 일반화할 수 있는 근본적인 비전-언어 모델의 잠재력을 보여주었습니다.
과학적 설명의 자동 점수는 즉각적인 정확한 피드백을 제공할 수 있지만, NGSS에 기반한 학습 진행에 따라서 고급 사유를 포착하는 분석 범주에서 클래스 불균형이 문제를 일으키고 있습니다. 본 연구에서는 transformer 기반 텍스트 분류 모델을 이용하여 고등학교 학생들의 물리 과학 평가에 대한 설명을 분석하는 데 있어 데이터 증강 전략을 조사했습니다. 본 연구에서는 SciBERT를 기본 모델로 사용하여 fine-tuning을 수행하고, 다음과 같은 증강 전략을 테스트했습니다: (1) GPT-4로 생성된 합성 응답, (2) EASE, 단어 수준 추출 및 필터링 기법, (3) ALP(대규모 언어 모델(LLM)으로 구현된 Augmentation using Lexicalized Probabilistic context-free grammar) 구문 수준 추출.
대규모 사고 모델(LLM)은 복잡한 사고 과제에서 강력한 성능을 보이지만 종종 악의적인 사용자 질의에 대한 해로운 응답을 생성합니다. 연구진은 이러한 안전 위험의 근본 원인을 조사하고 사고 구조 자체가 문제가 있음을 보여주었습니다. 이 통찰력에 기반하여 연구진은 효과적인 안전 영합을 달성하기 위해 사고 구조를 변경하는 것이 가능하다고 주장합니다. 연구진은 AltTrain이라는 단순한 하지만 효과적인 후 훈련 방법을 제안합니다. AltTrain은 복잡한 강화 학습(RL) 훈련 또는 보상 설계가 필요하지 않으며, 가볍게 1K 훈련 예제만으로 충분하며, 감독 훈련(finetuning)만으로도 충분합니다. 다양한 LRM 백본과 모델 크기로 실험한 결과, 강력한 안전 영합과 다양한 사고, QA, 요약, 다언어 설정에서 견고한 일반화가 가능했습니다.
ReSS는 심볼릭 모델의 논리적 명확성을 향상시키는同时, 대규모 언어 모델(LLM)의 도메인 특화 추론 능력을 향상시키는 새로운 프레임워크입니다. 이 프레임워크는 표준 데이터 예측 모델 학습을 위한 심볼릭 scaffold를 생성하고, 이를 LLM에 통합하여 도메인 특화 추론 모델을 학습하는 것을 목표로 합니다.
과학 논문 피드백을 학습하는 좋은 점: 저자 반응으로부터 건설적인 피드백을 학습하는 방법 과학 연구를 바꾸는 대규모 언어 모델(LLM)의 잠재력을 인정하면서도, 연구자동화에 인간의 감독 없이 사용하는 것을 대신하여 연구자를 보강하고 권장하는 것이 좋다고 주장한다. 이를 위해 우리는 연구 저자들이 연구와 연구를 제시하는 방법을 개선하는 데 도움이 되는 목표된, 실행가능한 피드백을 생성하는 과제를 연구한다. 이 연구에서 우리는 피드백의 효과를 저자 중심의 두 축인 유효성과 저자 행동에 따라 구체화한
미니어처에 연속적인 물체 감지를 위한 효율적인 특성 압축이 필요합니다. 기존의 접근법은 고정된 압축 전략을 사용하여 다양한 작업 특성에 적응하지 못하여 suboptimal 메모리 사용과 심각한 망각을 유발합니다. 우리는 Adaptive Hierarchical Compression (AHC) 라는 새로운 메타 러닝 프레임워크를 제안합니다. AHC는 각 새로운 작업에 대해 5 단계의 내부 루프에서 gradient descent를 사용하여 적응할 수 있습니다. 또한, hierarchical multi-scale compression와 scale-aware ratios를 사용하여 FPN의 중복 패턴을 매칭할 수 있습니다. 세 가지 표준 베이스 라인(Fine-tuning, EWC, iCaRL)과 함께 CORe50, TiROD, PASCAL VOC 벤치마크에서 실험을 수행하여 AHC가 100KB의 재생 예산 내에서 실용적인 연속 감지를 허용하고, EWC 정규화와 특성 분산을 결합하여 경쟁적인 정확도를 달성할 수 있습니다.
최신 연구에서 에이전트 이름, 발견, 상호작용에 대한 개선이 이루어졌지만, 효율적인 요청 라우팅은 지연, 개인 정보 보호, 비용 제약 조건 하에서 여전히 개방된 시스템 문제로 남아있다. 에이전트게이트는 후보 에이전트 호출, 다중 에이전트 계획, 직접 응답, 안전한 격상과 같은 선택 가능한 액션을 결정하는 데 사용되는 라우팅을 구조화된 결정 문제로 형식화하고, 액션 결정과 구조화된 기반에 대한 두 단계로 분할한다.
논리적 추론을 위한 일반화에 대한 재고: 최적화, 데이터, 모델 가능성에 대한 조건부 분석 논리적 추론을 위한 일반화에 대한 보편적인 이야기 인 LLM(대규모 언어 모델) 후 훈련의 주요 시나리오에 따르면, 감독 훈련(Supervised Finetuning, SFT)에서는 학습을 기억하며 강화 학습(Reinforcement Learning, RL)은 일반화한다고 말한다. 우리는 이 주장을 논리적 추론을 위한 SFT와 긴 chain-of-thought (CoT) 감독을 사용하여 재고하고, 최적화
네바야-녀야 사상에 기반한 지식적 사유를 위한 대형 언어 모델의 미세 조정: 프라마나 대규모 언어 모델(LLM)은 유창한 텍스트를 생성하지만 체계적인 사유에 어려움을 겪으며, 종종 자신감 있지만 근거 없는 주장을 내세운다. 애플 연구원들은 수학 문제에 불필요한 문맥을 추가했을 때 LLM의 성능이 65% 감소했다. 부식된 패턴 매칭이 명백한 사유 아래에 있는 것으로 드러났다. 이러한 지식적 격차, 증거에 대한 추적 가능한 근거를 바탕으로 주장을 지지할 수 없는 제한이 AI의 신뢰성을 제한한다. 우
의료 영상 판독기 평가에 대한 최근 연구는 주로 LLM 기반 지표를 설계하고 작은 모델을 사용하여 흉부 X-ray에 초점을 맞추었습니다. 그러나 다른 모달리티와 해부학에 대한 이러한 접근법이 robust한지 여부는 아직 명확하지 않습니다. LLM 심판을 위한 가장 적합한 모델과 명령어 구성은 무엇인지 확인하고자 합니다. 우리는 전문가와 LLM 기반 평가 간의 강한 상관 분석을 수행합니다. 우리는 existing LLM-as-a-judge 지표 (RadFact, GREEN, FineRadScore)와 VERT, 제안된 LLM 기반 지표를 비교합니다. VERT는 open-와 closed-source 모델 (사유와 비사유)과 다양한 크기를 가진 2개의 전문가 기반 데이터 세트 (RadEval, RaTE-Eval)에서 여러 모달리티와 해부학을 다룹니다. 우리는 RaTE-Eval에서 few-shot 접근 방식, ensembling, 및 parameter-efficient fine-tuning을 평가합니다. 지표의 행동을 더 잘 이해하기 위해, 우리는 시스템 에러 검출 및 분류 연구를 수행하여 expert 판단과 지표의 정합성을 평가하고 낮은 및 높은 정합성 영역을 식별합니다. 결과는 GREEN에 비해 VERT가 11.7%까지의 상관관계를 향상시킨다는 것을 보여줍니다. 또한 Qwen3 30B를 1,300개의 훈련 샘플만 사용하여 25%까지의 성능 향상을 달성할 수 있습니다. 또한 fine-tuned 모델은 37.2배까지의 inference 시간을 줄일 수 있습니다. 이러한 결과는 LLM 기반 심판의 효과성을 강조하고 가벼운 적응으로 신뢰할 수 있는 평가를 달성할 수 있음을 보여줍니다.
arXiv:2604.02585v1 Announce Type: new Abstract: LLMs are increasingly used for high-stakes decision-making, yet their sensitivity to spurious contextual information can introduce harmful biases. This
arXiv:2604.02434v1 Announce Type: new Abstract: We study structured abstraction-based reasoning for the Abstraction and Reasoning Corpus (ARC) and compare its generalization to test-time approaches. P
허깅페이스가 공개한 SmolLM3는 3B 파라미터임에도 Gemma3-4B와 Qwen3-4B를 능가하는 성능을 보여줍니다. 11.2조 토큰으로 학습되었으며 128K 컨텍스트와 6개 언어를 지원합니다.
