본문으로 건너뛰기
AI UsefulInfo ai.usefulinfo

검색

전체 기사

에이전트 8월 10일

웹 개발을 위한 LLM 훈련을 위한 자가 진화하는 프로그래밍 평가기

대규모 언어 모델(LLM)이 자연어 설명으로부터 완전한 웹사이트를 생성하는 데 증가하고 있다. 이에 따라 강화 학습이 기능적 격차를 줄이기 위해 중심적인 접근 방식이 되었다. 이 훈련 방식은 보상 디자인에 의해 병목 현상이 된다. 개방된 요구 사항에 대한 브라우저 스크립트는 실행 가능하지만 비용이 많이 들며, VLM과 GUI-agent 평가자도 확대하지만 결정적 상태를 관찰하기 전에 판결을

LLM PC 8월 10일

중간 층의 주의 집중 예측을 통해 시각 토큰 압축

대규모 멀티모달 언어 모델(Multimodal Large Language Model, MLLM)의 효율성을 향상시키기 위해 시각 토큰 압축을 사용하는 방법을 제안합니다. 이 방법은 중간 언어 모델 층의 주의 집중을 예측하여 시각 토큰의 중요도를 평가합니다. 이 방법은 existing inference acceleration techniques와 호환되며, 10개의 benchmark에서 97.5%의 unpruned model 성능을 유지하며, 5.56%의 시각 토큰만 사용하여 3.09배의 end-to-end speedup을 달성합니다.

에이전트 8월 10일

인터랙티브 자율 시스템의 자동 설계

arXiv:2608.06410v1 발표 종류: 새로운 초록: 자동화된 agent 설계는 반복적인 수정, 평가, 피드백 요약을 통해 agent를 개선하는 데 도움이 됩니다. 현재 방법들은 주로 후보자 중심(focus on candidate agents)입니다: 반복되는 경험이 후보자 agent를 중심으로 조직되기 때문에, 수정 진행 상황은 암묵적으로 표현됩니다. 이로 인해, 불필요한 수정 목표

AI 모델 8월 10일

해석 가능한 비지도 학습 기반 커뮤니티 발견 방법

그래프 분석에서 동질한 집단을 식별하는 데 목표를 둔 커뮤니티 탐지는 기본적인 작업입니다. 기존의 목표 지향적인 방법은 복잡한 그래프 구조에 직면하여 어려움을 겪고 있지만, 깊은 학습 기반 접근법은 해석 가능성과 함께 레이블이 필요하며 학습이 필요합니다. 강력한 논리적 추론 능력과 세계 지식이 있는 대규모 언어 모델(LLM)은 해석 가능한 레이블이 없는 커뮤니티 탐지에 hứ부로 보입니다. 이

연구 8월 10일

모델의 가중치 외에: 혼합 전문가 보상 모델의 기여 대조를 통해 충실한 응답 수준 해석

인간의 선호도를 학습하는 데는 보상 모델이 중요하지만, 그들의 예측에 영향을 미치는 요인을 식별하는 것은 어렵다. 최근 스파스 모이티어스-오브-익스퍼트( Sparse Mixture-of-Experts, MoE) 보상 모델은 전문가에게 특화된 전문가에게 요청을 라우팅하고 라우팅 가중치가 높은 예시를 통해 전문가의 특성을 특성화하여 해석성을 높이기 위해 노력하고 있다. 그러나 라우팅 가중치는 전

AI 모델 8월 10일

엔트로피 기반 희소 전문가 라우팅: 토큰화가 없는 LLM의 엔트로피 인식

최근 바이트 레벨의 대규모 언어 모델(LLM)은 동적으로 크기를 조절한 패치로 바이트를 그룹화하여 토크나이저-free 모델링을 점점 더 경쟁력을 높이고 있습니다. 그러나 현재의 바이트 패치 아키텍처는 여전히 모든 패치에 동일한 밀도 피드 포워드 계산을 적용합니다. 이.uniform 계산은 패치 의미와 그Granularity의 변화를 고려하지 못하여 모델 용량을 적절하게 조정하지 못합니다. 이

AI 모델 8월 10일

다중 레이블 그래프 기반 모델의 기초: 단일 벡터 표현 학습부터 다중 의미 기초 학습까지

arXiv:2608.06394v1 발표 알림 유형: 새로운 Abstract: 다중 레이블 노드 분류는 그래프 학습에서 노드가 동시에 여러 의미를 나타내는 중요한 문제입니다. 현재 다중 레이블 노드 분류를 위한 방법들은 다중 레이블을 효과적으로 모델링할 수 있지만, 모델이 훈련 및 테스트되는 동일한 그래프 도메인 내에서만 고려되기 때문에, 제한된 다중 도메인 일반화만을 제공합니다. 최근 그래프