본문으로 건너뛰기
AI UsefulInfo ai.usefulinfo

검색

전체 기사

AI 모델 5월 12일

훈련 후 능력 조출과 능력 창조를 구분하는 것: 자유 에너지 관점

훈련 후 대규모 언어 모델(LLM)의 능력 조출과 능력 창조를 구분하는 것이 중요합니다. 능력 조출은 기존의 모델이 이미 생산할 수 있는 행동의 확률을 증가시키는 반면, 능력 창조는 모델이 실제로 도달할 수 있는 행동의 집합을 변경하는 것입니다. 이 구분은 자유 에너지 관점에서 크게 다르지 않습니다.

연구 5월 12일

선호도에 대한 임베딩, 의미에 대한 임베딩이 아님

현재 AI 기술은 참여자가 고정된 후보에 대한 투표 대신 자유 형식의 텍스트로 의견을 표명하는 집단 의사 결정을 열어주고 있다. 이러한 의견을 벡터 공간에 임베딩하는 자연스러운 아이디어는, 시설 위치 문제와 공정 클러스터링과 관련된 대규모 언어 모델(LLM) 기존 문맥에 이론을 적용할 수 있게 해준다. 그러나 표준 텍스트 임베딩은 의미 유사성을 측정하며, 시설 위치 문제와 공정 클러스터링에서는 '선호도 유사성'이 필요하다. 이는 참여자가 텍스트와 얼마나 згод인지가 거리와 반비례해야 한다는 것을

연구 5월 12일

자동 평가 기준으로부터 Reward: 인간 선호도 구조를 명시적 다중 모드 생성 기준으로

대규모 언어 모델(LLM)의 선호도에 맞추기 위해 Reward Learning with Human Feedback(RLHF) 방법론이 사용되는데, 이러한 방법론은 인간의 선호도 구조를 스칼라 또는 쌍별 레이블로 축소시키는 문제를 가지고 있습니다. 이러한 문제를 해결하기 위해 Rubrics-as-Reward(RaR) 방법론이 제안되었지만, 이는 데이터 효율성과 확장성을 충족시키는 방법론이 아직 존재하지 않습니다. 이에 대한 해결책으로 Auto-Rubric as Reward(ARR) 프레임워크를 제안하였으며, 이는 Reward 모델링을 명시적 기준 기반 분해로 재정의합니다.

AI 모델 5월 12일

공간적 프라이밍이 의미적 프롬프트보다 우수하다: 차트 데이터 추출 정확성을 향상시키기 위한 격자 기반 접근법

과학 도표에서 데이터를 자동으로 추출하는 것은 대규모 문헌 분석에서 중요한 과제이다. 다모달 대규모 언어 모델(LLM)이 약속을 보여주지만 비표준화된 도표에 대한 정확도는 여전히 도전과제이다. 이로 인해 중요한 연구 질문이 제기된다: 의미적 프롬프트를 향상시키기 위한 모델 성능을 개선하는 가장 효과적인 전략은 무엇인가? 또는 저수준 공간적 프라이밍인가? 이 논문은 이 두 가지 DISTINCT 전략에 대한 비교적 연구를 제시한다. 우리는 의미적 방법론의 탐색적 실험, 두 단계의 메타데이터-첫 번

연구 5월 12일

시각-언어 모델의 신뢰성: 주의점과 은닉 상태, 인과회로에 대한 기계적 연구

시각-언어 모델의 신뢰성은 주의점의 선명성에만 의존하는 것은 아니다. 새로운 연구에서, 연구자들은 시각-언어 모델의 신뢰성을 은닉 상태의 구조와 생성 동적, 은닉 상태의 기하학에 따라 평가한다. 연구 결과, 신뢰성은 주의점의 선명성에만 의존하는 것이 아니라 은닉 상태의 구조와 생성 동적에 따라 결정된다.