본문으로 건너뛰기

검색

전체 기사

AI 모델 8월 13일

일체형에서 모듈형으로 : 세그먼트 단위 자동 프롬프트 최적화

자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 프롬프트를 일괄적으로 수정하는 경향이 있어, 한 가지 성능이 향상되면 다른 성능이 저하될 수 있습니다. 우리는 SAPO라는 세그먼트 기반 APO 방법을 제시하고 있습니다. SAPO는 프롬프트를 역할, 문맥, 작업, 출력 형식으로 분해한 다음, 상위 5개와 하위 5개의 예제에 기반하여 대상 향상을 적용합니다

AI 모델 8월 13일

복제된 잠재 저장소의 내용 주소 읽기 : MaSRead

연구자들은 latent space에서 추론하는 독립 agent들이 텍스트 대신 계산된 상태를 key-value 캐시 프래그먼트로 공유할 수 있음을 발견했습니다. 이러한 프래그먼트는 conflict-free replicated data type에 의해 병합되며, 배달 순서나 복제 여부에 관계없이 수렴합니다. 그러나 encode 시점에 알려지지 않은 후속 질의로 인해 병합 캐시를 신뢰할 수 없습

에이전트 8월 13일

자동세계모델 벤치마크: 자율세계모델 연구를 위한 새로운 표준

세계 모델링은 현재 환경에 따라 다양한 아키텍처, 학습 목표 및 상태 표현이 상호 작용하는 복잡한 분야입니다. 이를 해결하기 위해 AI 코드 기반.agent가 자율적으로 연구할 수 있는 환경을 제공하는 새로운 벤치마크가 등장했습니다. 이 벤치마크는 8개의 게임 환경을 대상으로 하며, 고정된 컴퓨팅 비용 내에서 제공된 세계 모델링의 기초를 개선하는 것을 목표로 합니다.

에이전트 8월 13일

작고 저렴한 의사소통 모델링: 노트북에서 대형 LLM--agent 사회를 시뮬레이션하기

대규모 언어 모델(LLM) agent들의 사회를 시뮬레이션하는 것은 비용이 많이 들지만, 이러한 시뮬레이션에서 묻는 질문은 일반적으로 거시적인 차원에서 발생한다. 예를 들어, phase behavior, stylised facts, 그리고 agent들의 수 N에 따라 scaling하는 것들에 대한 질문이다. 이에 대한 해결책으로, 통계 물리학의 관찰을 방법으로 변환한다. 그 방법은 대규모 언

AI 모델 8월 13일

경로 플립 감지보다 손상 修復 여부를 판단하는 것이 더 어려운 문제: 대규모 언어 모델의 Quantized Mixture-of-Experts에서 Causal Route-Mediated 손상

대규모 언어 모델(LLM)에서 Top-k Mixture-of-Experts(MoE) 경로가 불연속적이기 때문에, 배포를 위한 숫자적인 간섭 - 4비트 KV 캐시 양자화 읽기와 보호된 BF16 게이트 - 토큰을 결정 경계를 넘어가는 방식으로 밀어내고 경로를 바꾸는 것을 유발한다. 이 연구는 새로운 손상 완화를 제안하지 않지만, 경로 매개 변수 손상에 대한 원인 관계적 도구, 경험적 발견, 그리고 감지한 한계 결과를 제공한다.

LLM PC 8월 13일

Bayesian 모델 칼리브레이션을 위한 문헌 정보를 기반으로 한 전역 분포 설계

Bayesian 기반의 프로세스 기반 모델의 감리 작업을 위해서는 각 모델의 매개변수에 대한 사전 분포가 필요하다. 많은 연구자들은 이 작업을 수행하기 위해 유니폼 사전 분포를 사용한다. 하지만 유니폼 사전 분포를 사용하는 이유는 이 작업을 수행하기 위한 도메인 지식과 통계 지식이 필요하고, 이를 통해 유의미한 사전 분포를 구축하는 데 시간이 많이 걸린다는 것이다. 우리는 Distribird

에이전트 8월 13일

다중 LLM agent 시스템의 협력적인 대화 결과를 위한 동적 조절

대규모 언어 모델(LLM) 간의 상호 작용에서 구조적으로 반대되는 목표를 가진 두 대규모 언어 모델 agent가 여러 차례 상호 작용할 때, 공통 목표 함수의 부재는 경쟁보다는 붕괴로 이어진다: 방문자는 항복하고, 사이트 agent는 접근 방식을 변화시키지 않고, 대화는 두 agent의 선언된 목표를 달성하지 못한 채 종료된다. 이 논문은 공통 목표 함수가 부족한 경우 대체할 수 있는 통제