본문으로 건너뛰기
AI UsefulInfo ai.usefulinfo

#NVIDIA

96개의 기사

허깅페이스 8월 10일

네비다 마그피 TTS를 사용한 저지연 다언어 음성_AGENT 만들기: 오픈 웨이게이트 및 전체 배포 제어

Google은 AI 개발을 위한 새로운 플랫폼을 출시했습니다. 이 플랫폼은 AI 개발자들이 AI 모델을 빠르게 테스트하고 디플로이하는 데 도움이 될 것입니다. [MLOps] Google은 이 플랫폼을 "Google Cloud AI Platform Pipelines"라고 부르며, AI 개발자들이 AI 모델을 빠르게 테스트하고 디플로이하는 데 도움이 될 것입니다. 이 플랫폼은 AI 개발자들이 A

AI 모델 8월 4일

지구 친화적인 지구 기반 LLM의 효율성: 소비자 하드웨어에 대한 초기 양적 GPU 전력 벤치마크

대규모 언어 모델(LLM)의 지역 배포는 개인 정보 보호의 우려와 기지 내 추론의 욕구로 인해 점점 더 심화되고 있다. 그러나 소비자 하드웨어에서 에너지 비용은 주로 정확도만 고려하는 대부분의 벤치마크로 인해 아직까지도 매우 불확실한 상태이다. 이 논문은 1B에서 7B 파라미터까지의 열 개의 오픈 소스 대규모 언어 모델이 하나의 소비자 GPU(RTX 4060Ti 16GB)에서 실행되는 하드웨

에이전트 7월 29일

CUDA 커널을 위한 LLM 기반 생성 및 최적화에 대한 agent 하네스

머신 러닝 모델은 매일 사용하는 소프트웨어에 점점 더 많이 통합되고, 그들의 런타임 시간은 행렬 곱셈, 합성곱, 정규화와 같은 작은 계산 커널에서 대부분을 차지한다. 이 커널을 최적화하는 것은 지연 시간과 비용을 줄이는 가장 직접적인 방법 중 하나지만, 일반적으로 전문가 엔지니어가 저급 GPU 코드를 수동으로 작성해야 했다. 대규모 언어 모델(LLM) 기반의 에이전트 시스템은 이제 훨씬 적은

LLM PC 7월 23일

인텔 TDX 하위 NVIDIA H100에서 신뢰할 수 있는 GPU 추론 성능 측정

기밀 처리는 sensitive한 입력을 처리하거나 사설 모델 자산을 보호하기 위해 AI 인식 작업을 위한 실질적인 배포 요구 조건이 되고 있습니다. 그러나 GPU 가속된 대규모 언어 모델 서비스를 위해 기밀 처리를 활성화하는 성능 비용은 작업 부하에 따라 달라지고 operationally 중요합니다. 이 논문은 NVIDIA H100 80GB GPU를 Intel TDX 기밀 인스턴스에 호스트한

허깅페이스 7월 22일

물리적 인공지능의 시뮬레이션 상태: 개관

AI가 인공지능을 바꿔 가는 방법 미국 샌프란시스코에서 열린 GTC 2023 콘퍼런스에서 NVIDIA CEO인 제프 호너는 AI의 진보를 위한 새로운 기회를 열어주고 있다. 그는 NVIDIA의 AI 플랫폼인 DGX A100을 소개하며, 대규모 언어 모델(LLM)과 같은 AI의 발전을 위한 새로운 장치를 제공하고 있다. 호너는 NVIDIA의 AI 플랫폼이 AI 개발자들이 더 빠르게, 더 효율적

AI 모델 7월 21일

작은 언어 모델을 사용한 인공지능 민주화: 지역 배포를 위한 구조화된 벤치마킹 및 매개 변수 효율적인 tinh회정

인공지능 민주주의는 주로 대규모 언어 모델의 일반성을 맞추는 문제가 아니고, 대규모 언어 모델(LLM)가 하드웨어와 관리 제약으로 인해 일반 기관이 만족할 수 있는 범위 내에서 선택, 감사, 분산되도록 할 수 있는 문제입니다. 본 논문은 135M에서 3B 파라미터까지의 9개의 오픈-웨이트 언어 모델이 1,085 개의 예시와 16 개의 주제를 가진 다중 선택 시험지에 대한 구조화된 지역 배포를

인기 태그

#arXiv 1177 #AI 에이전트 955 #추론 574 #OpenAI 459 #Google 395 #벤치마크 333 #Anthropic 253 #GPT 218 #Meta 166 #Claude 145 #가격 정책 140 #AI 안전 139 #Microsoft 134 #Gemini 130 #멀티모달 106 #로보틱스 104 #NVIDIA 96 #오픈소스 92 #파인튜닝 88 #허깅페이스 65