본문으로 건너뛰기

더 많은 것을 덜하는 것: 에지런트 컴퓨팅의 적합성에 대한 첫 원리적 탐색

AI 자동 생성

인공지능(AI)이 기업 활동을 자동화하는 관심이 점점 증가하고 있습니다. 사용하기도 쉬우면서 비용도 많이 들면서 더 적은 것을 더 많이 할 수 있는 편리함이 있지만, 개발 속도, 성능, 운영 비용을 고려할 때, agent라는 개념과 기존의 대안인 로컬 컴퓨팅, Representational State Transfer (REST), Simple Object Access Protocol (SOAP), Model Context Protocol (MCP)과 같은 것은 어떤 경우에 사용할 것이 좋을지 알 수 없습니다. 우리는 개발 속도, 성능, 운영 비용을 고려한 정확도와 처리량 요구 사항에 따라 아키텍처를 선택하는 지침을 만들기 위해, 1,000개의 산술 표현식에 연산자 우선 순위를 보존해야 하는 의미를 가지고 있는 세부적인 수학적 작업을 사용했습니다. 이 설정을 Native Function Calling baseline(Python library), REST, SOAP, MCP microservice 아키텍처, Groq 클라우드 API를 사용한 대규모 언어 모델(LLM)에서 직접 응답, 다섯 개의 로컬 Ollama 모델을 사용하여 직접 평가, 로컬로 배포한 다섯 개의 LLM이 MCP 도구를 호출하는 agent 시스템에 걸쳐 실행했습니다. 결정론적인 방법은 100% 정확도와 무시할 수 있는 지연 시간을 달성했습니다. 대규모 언어 모델(LLM)에서 직접 평가하는 것은 22,000배 이상의 지연 시간을 초과하는 92.9%의 정확도에 이를 뿐입니다. MCP 도구를 사용하면 99.9%의 정확도를 달성하는 가장 좋은 agent가 1,000,000배 이상의 지연 시간을 초과합니다. 이 결과는 LLM 접근 방식이 정확한 산술 평가에 적합하지 않음을 보여주고, 정확도와 처리량 요구 사항에 따라 아키텍처를 선택하는 지침을 만듭니다. 우리는 실제로 agent와의 상호 작용이 논리적 과제와 언어적 과제를 모두 포함할 수 있음을 인식합니다. 따라서 추천은 task 유형에 따라 여러 아키텍처 선택을 탐색하는 것이고, 다목적 솔루션 대신 LLM을 사용하는 것이 아닌 것입니다. 코드는 https://github.com/Ritvik-G/adf 에서 사용할 수 있습니다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

LLM PC 7시간 전

라디올로지 보고서 구조화를 위한 모달리티 인식 Edge-배포 가능 에지 지향 인공지능

라디오로지(reporting) 보고서 구조화에 사용되는 대규모 언어 모델(Large Language Model)의 채택은 주로 제3자 클라우드 기반 모델 또는 고성능 GPU를 요구하는 대형 공개 모델에 의해 주도되었는데, 이는 데이터 프라이버시와 오프라인 운영이 필요하는 라디오로지 워크플로우의 임상 채택에 대한 중요한 제한 요인이다. 이를 해결하기 위해 MedPAO-Assist라는 에지-배포

LLM PC 2일 전

이벤트에서 추론까지 : 명시적 상태에 대한 계층적 규칙 조합

논문 제목: Event Reasoning System (ERS) 이 논문에서, 논리 시스템이 내놓는 것은 결론이고, 이에 대한 설명은 정당성이다. 결론을 내리려면, 실제로 이용 가능한 모든 정보에 대해 작업이 허용되는지, 중간 결과의 의존성이 경로의 끝까지 살아남는지, 그리고 주장의 변경에 따라 경로가 수정되는지 확인해야 한다. 우리는 Event Reasoning System (ERS)이라고

LLM PC 2일 전

사용자 인코더를 다시 생각해 보라: 시나리오 적응 사용자 표현을 위한 diffusioin 상태 라우팅

기존 대규모 언어 모델(LLM)-기반 사용자 인코더는 다종의 행동 로그를 시계열 예측[autoregressive (AR) prediction]을 통해 정적 표현으로 압축한다. 그러나 그들의 단방향 제약은 양방향 정보 흐름을 제한하고, 다원 신호의 공동 보존을 방해하며, 상호 모드 상호작용을 방해한다. 따라서 학습된 정적 표현은 다양한 하류 시나리오의 구체적인 증거 요구를 충족하기 어려운다.

LLM PC 6일 전

확산 모델의 교정 교육

대규모 언어 모델(LLM)은 오류 누적으로 고통받는 확산 모델의 문제를 해결하기 위해 새로운 방법을 제시합니다. 확산 모델은 실제 이미지에 잡음이 섞인 가상의 이미지에 대해 학습되지만, 예측의 오류로 인해 인식 시에는 이전 단계의 예측으로 구성된 입력을 사용하게 됩니다. 이러한 오류는 CFG와 같은 추가적인 도움 없이 확산 모델이 어려움을 겪는 이유 중 하나일 수 있습니다. 확산 모델에 대한

LLM PC 10월 9일

인공지능의 진실은 누가 말할 수 있나요? 인간중심 인공지능에서 모호성의 중요성

인공지능 시스템이 사람들과 상호작용하고 사람들을 대신하여 결정할 때, 인간의 해석을 이해하는 것이 인간중심 인공지능을 개발하는 데 중요해지고 있습니다. 그러나 많은 인간중심 작업에서 인간 해석은 모호성이 내재되어 있으며, 동일한 입력에 대해 동시에 합리적이고 유효한 여러 해석이 있을 수 있습니다. 이러한 모호성을 단일 목표로 줄이면 사람들의 인식, 판단, 경험의 다양성을 담은 의미 있는 정보를 무시할 수 있습니다.

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.