감각부터 결정을 내리는 과정: 다중 모드 LLM에서 청각과 시각 인식 정보 흐름
멀티모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)은 들을 수 있고 보이도록 만들 수 있지만, 실제로 음성과 시각적 신호가 어떻게 네트워크를 통해 답변을 형성하는지 알기 어렵습니다. 연구와 실세계 응용에서 그 역할이 점점 커지면서도, 음성과 시각적 토큰이 최종 예측에 어떤 영향을 미치는지에 대한 내부 경로가 아직까지도 잘 이해되지 않은 상태입니다. 이 연구에서는 음성-시각 대규모 언어 모델(AVLLMs)의 내부 정보 흐름을 조사하였으며, 두 가지 입력 설정인 음성-시각 비디오와 여러 개의 교차된 음성-시각 아이템에서 AVLLMs가 어떻게 음성과 시각 정보를 라우팅하고, 활용하고, 통합하는지 추적하였습니다. 음성-시각 비디오의 경우, AVLLMs는 VLMs와 비디오LLMs에 estableshed된 시퀀스 정보 흐름 경로를 따르고, 음성과 시각적 contribution이 이 경로에 따라서 각 모달의 의존도가 반비례하는 방식으로 흐릅니다. 여러 개의 교차된 음성-시각 아이템이 있는 경우, 라우팅은 다른 병렬 스트림으로 이동합니다. 또한, 음성-시각 및 기타 토큰 유형은 LLM에 정보가 전달된 후에 버려질 수 있으며, 모델의 예측에 미치는 영향은 최소화되거나 thậm chí는 향상되며, 다양한 작업과 데이터셋에 걸쳐 일반화되며, 더 효율적인 추론을 가능하게 합니다. 이러한 결과는 여러 모델과 크기에서 일반화되며, Qwen2.5-Omni와 비디오-SALMONN2 Plus 3B와 7B 크기에서 일반화되며, 이러한 흐름 구조가 왜 나타나는지에 대한 가설을 제시합니다. 이 결과는 AVLLMs가 네트워크 내부에서 소리와 시각을 조율하는 첫 번째 일관된 그림을 제공하며, 음성-시각 및 더 넓은 MLLMs의 다음 Wave의 해석성, 설계, 효율성 향상을 위한 기초를 제공합니다.
함께 읽으면 좋은 기사
미소프트가 퀄컴의 X2 플러스 칩을 탑재한 더 작은 서피스 프로와 랩톱을 새로 출시합니다.
마이크로소프트는 퀄컴의 최신 스냅드龍 X2 플러스 칩을 사용하여 Surface Pro 12인치와 Surface Laptop 13인치를 업데이트한다. 작은 Surface 기기는 이전 해와 같은 디자인과 하드웨어 기능을 유지하며 내부에 더 빠르고 강력한 칩을 탑재하고 가격도 더 높아졌다(램 가격 상승으로 인해!). 12인치 Surface Pro는 $799.99에서 시작했지만(…)
수류봇 시뮬레이션용 디바이스 내시각적 증거融合 및 설명 가능한 안내: PAANI
아르키브 : 2609.22353v1 발표 유형 : 새로운 요약 : 이동河川監視 로봇은 지리적 경계점만으로는 설명할 수 없는 장애물과 물의 경계를 해석해야 합니다. 자원 제한된 플랫폼에서는 불완전한 시각적 예측을 신속하고 검토 가능한 지침으로 변환하는 것이 DISTINCT한 문제입니다. 오브젝트 레이블이나 스티어링 명령은 어떤 증거가 결정을 지원하는지 또는 그 증거가 불신할 때를 설명하지 않습
지오AI를 위한 지식형 언어 모델(LLM) 지원 GIS에 대한 윤리적 및 개인정보 보호 위험에 대한 서술적 검토: 자율 GIS를 위한 통치 aware GIS의 방향
지오스페이셜 인공지능(GeoAI)은 대규모 언어 모델(LLM)으로 구동되는 자연어 인터페이스와 자율 GIS 워크플로를 통해 공간 정보에 대한 쿼리, 생성 및 해석 능력을 확장하고 있다. 이러한 기능은 일반적인 인공지능 윤리 논의에서 다루지 못하는 정부에 대한 새로운 도전을 제기한다. 이는 이동성 추적에서 수동 위치 추론, 공간적으로 구조화된 편견의 증폭, 공간적 자율성의 증폭, 다중 모드 지
규모에 따른 중요한 물질 회수에 집중한 능동 학습
연구자들은 대규모 생산을 위해 회복 과정의 선택을 위해 실험실 결과와 제품 요구 사항, 공정 비용, 규모 효과를 연결하는 것이 필요하다. 우리는 퍼시픽 노스웨스트 국립 연구소의 컴퓨터 인텔리전스(CICERO) 워크플로우에서 자율적인 선택적 침전을 위한 기록을 분석했다. 활성 학습은 이전 결과를 사용하여 실험이 선택된다. 조건부 역사적 벤치마크에서 모델과 재활용된 네오디뮴-철-보르온(NdFeB
온라인 에이전트를 위한 상태-경로 도구 메뉴: 메뉴는 이전의 처형이다.
인공지능 언어 모델은 도구를 통해 작동하지만 실제 agent는 수천 개의 인터페이스를 포함하는 라이브러리를 처리해야 한다. 우리는 agent에게 실행하기 전에 보여지는 도구 메뉴를 도구의 짧은 순서付き 부분집합으로 정의한다. agent는 이 메뉴에 있는 도구만 호출할 수 있다. 다단계 작업은 최종 작업과 그 작업의 입력을 생성하는 이전 도구가 사용 가능한 순서로 작동한다. 현재 생성기는 요청
subagent 대 agent skill: 재사용 가능한 지식의 재현을 통한 장기적 행위任务의 수행
인공지능-agent가 대규모 언어 모델(LLM)에서 재사용 가능한 지식 라이브러리를 효과적으로 활용하여 장거리 작업을 해결하는 방법은 무엇입니까? 최근 연구는 agent skills: 재사용 가능한 기능을 나타내는 패키지로, 즉 특정 작업을 수행하는 데 도움이 되는 지침, 스크립트 및 기타 자원들이 포함된 다중 파일 묶음에 집중하고 있습니다. agent skills는 일반적으로 skill i
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.