본문으로 건너뛰기
AI UsefulInfo ai.usefulinfo

검색

전체 기사

LLM PC 5월 12일

듣는 AI를 만들고 싶다: 생각하는 기계가 입력과 응답을 동시에 처리한다

현재까지 사용한 모든 AI 모델은 동일한 방식으로 작동합니다. 사용자가 말하면 AI가 듣고, AI가 응답하면 사용자가 듣습니다. 하지만 생각하는 기계는 이 방식을 바꾸기 위해 하나의 모델을 개발 중에 있습니다. 이 모델은 사용자의 입력을 처리하고 동시에 응답을 생성하여 전화 통화와 같은 형태로 작동합니다.

에이전트 5월 12일

건강관리 AI를 위한 성능 측정: 생성적, 다모드, 그리고 주체적 AI를 위한 벤치마크

건강관리 AI를 위한 성능 측정은 복잡한 실세계 워크플로우에서 신뢰성, 안전성, 및 임상적 중요성을 측정하는 체계적인 방법이 부족하다. 대부분의 벤치마크는 모델이 무엇을 알고 있는지 테스트하지만, 실세계 임상 작업의 전체 복잡성을 고려한 신뢰성과 실패를 테스트하는 벤치마크는 부족하다.

AI 모델 5월 12일

鏡中的공격자: 안정된 이중 역할 자극을 통해 안전성을 깨는 방법

AI 안전성을 향상시키기 위한 자극된 팀(self-play) 접근법에서, 동일한 모델의 다양한 인스턴스가 공격자와 방어자 역할을 하며, 0-1 게임에서 공격자가 방어자를 탈옥시키려고 시도하는 경우, 자극된 팀이 Nash 평형에 수렴할 경우, 모델은 게임 설정 내에서 안전하게 반응할 수 있다. 그러나 동일한 모델을 사용하여 두 역할을 강제하는 파라미터 공유는 안정성과 성능을 향상시키지만, 이론적 및 아키텍처적 한계를 초래한다.

연구 5월 12일

권리와 법의 동조

권리와 법의 동조 법학(Jurisprudence, 법학의 기초)에 대한 연구와 인공지능 모델이 인간 가치에 맞게 동조하는 것에 대한 과학(Alignment, 동조의 과학)은 결국 같은 구조를 공유한다. 이처럼 멀리 떨어진 두 분야 모두 강력한 행위자들의(법관과 인공지능)의 미래에 대한 결정이 어떻게 이루어질지 예측하고 형성하고자 한다. 그리고 그 목표를 달성하기 위해 언어의 명세와 해석의 도구를 사용한다. 법학의 대형 토론(what the law is와 what it should be에 대한 토

AI 모델 5월 12일

정치적 플라스틱성: 대규모 언어 모델의 이념적 유연성 분석

대규모 언어 모델(LLM)의 정치적 편향에 대한 연구가 활발하게 진행되고 있지만, 이 연구에서는 대규모 언어 모델의 정치적 유연성에 대한 연구를 진행했습니다. 정치적 유연성은 사용자가 제공한 문맥에 따라 모델이 반응을 조정할 수 있는 능력을 의미합니다. 연구에서는 200개의 정치적 질문을 포함하는 확장된 코퍼스를 사용하여 이념적 변화를 분석했습니다. 결과는 시스템 프롬프트가 효과적이지 않았지만, 사용자가 제공한 프롬프트가 모델의 이념적 변화를 유도할 수 있음을 보여주었습니다.

연구 5월 12일

도구 확장 언어 모델을 위한 CoCoDA: 컴포지셔널 DAG의 공동 진화

도구 확장 언어 모델은 작은 언어 모델에 외부 실행 가능한 스킬을 추가할 수 있지만 도구 라이브러리를 확장하는 것은 새로운 재사용 가능한 서브루틴이 발생할 때 계획자와 함께 진화해야 하며, 검색은 고정된 컨텍스트 예산 내에서 유지해야 한다. 기존의 도구 사용 및 스킬 라이브러리 방법은 도구를 평평한 메모리나 텍스트 인덱스 메모리로 처리하기 때문에 라이브러리 크기에 따라 지시 첨부 비용이 증가하고, 실행 가능한 코드의 타입화된 컴포지셔널 구조가 묻힌다. 우리는 CoCoDA를 제안한다. CoCoDA는 컴포지셔널 코드 DAG를 통해 계획자와 도구 라이브러리를 공동 진화하는 프레임워크이다. 노드는 원소 또는 복합 도구로, 엣지는 호출 의존성을 인코딩하고, 각 노드는 타입화된 서명, 설명, 전/후 조건 사양, 예시를 저장한다. 추론 시간에, 타입화된 DAG 검색은 후보를 심볼릭 서명 일치로 필터링하고, 생존자들을 설명에 따라 순위 매기고, 행동 사양에 의해 필터링하고, 예시를 통해 불명확성을 해소한다. 이 때, 비용이 많이 드는 컨텍스트 재현을 점진적으로 작아지는 후보 집합에 유지한다. 훈련 시간에, 성공적인 경로를 유효화된 복합 도구로折입하고, 계획자는 DAG 유도된 보상을 사용하여 복합 도구의 원소 확장 크기에 따라 크레딧을 받는다. 우리는 검색 비용 감소, 선형 검색 시간, 형성된 보상 하에서 컴포지셔널 이점, 보수적인 업데이트하에 모노톤 공동 진화, DAG의 잘못된 형태를 보여준다. 수학적 논리, 표 형태 분석, 코드 작업 벤치마크에서, CoCoDA는 8B 학생이 GSM8K와 MATH에서 32B 교사와 일치하거나 초과하는 것을 허용하고, 강력한 도구 사용 및 라이브러리 학습 베이스 라인에 비해 지속적으로 개선한다.

AI 모델 5월 12일

인간-AI 팀의 성능 향상을 위한 다단계 프레임워크: PLACO

인간-AI 팀은 인간과 모델이 각각 성능을 달성할 수 없을 때 전체 시스템 성능을 향상시키는 데 중요한 역할을 합니다. 강력하고 접근성이 좋은 생성 AI 모델의 등장으로 인해 여러 무거운 작업이 인간-AI 팀 작업으로 변모했습니다. 인간은 AI 보조를 사용하여 이전에 경험하지 못한 속도 향상을 경험했습니다. 분류 작업에서 최종 출력은 단일 硬 라벨이기 때문에 인간과 모델 출력의 결합을 해결하는 것이 중요합니다. 이전 연구는 Bayes 규칙을 사용하여 인간과 모델 출력이 실제값에 대한 조건부 독립이라는 가정으로 이 문제를 아름답게 해결했습니다. 특히, 모델의 인스턴스 수준과 인간의 클래스 수준에 대한 계산된 확률을 사용하여 단일 결정 라벨러(인간)와 확률 라벨러(분류 모델)를 결합하는 방법을 논의했습니다.

에이전트 5월 12일

실렌스: 효율적인 LLM 에이전트를 위한 대규모 언어 모델(LLM) 경험 재사용

실렌스는 대규모 언어 모델(LLM) 에이전트가 다양한 태스크에서 절차적 경험을 재사용하는 데 있어 실용적인 방법이 되었다. 그러나 기존 시스템은 지식库를 단일 해상도 프롬프트 블록으로 다루어 왔기 때문에, 도식화된 지식은 관련성이 떨어지거나 오해를 일으킬 수 있지만, 전체 지식을 다시 작성하는 것은 비용이 많이 들고 자주 필요하지 않다. 실렌스는 지식 라이브러리를 네 개 층의 정책, 전략, 절차, 원소로 구성된 그래프에 조직하고, 다양한 해상도에서 지식을 검색하는 지식 진화 프레임워크를 제안한다. 태스크를 입력받으면, 실렌스는 의미적으로 관련된 지식 씨앗을 검색하고, 그 지식 씨앗을 확장하기 위해 지식 그래프에 대한 고도의 정정된 무작위 경로를 수행하고, 이후 각 방문 단위가 수락, 분해, 다시 작성, 건너뛰어야 하는지 결정하기 위해 검증기를 사용한다. 이로써 에이전트는 호환 가능한 서브 지식을 직접 재사용할 수 있으면서, 지역적으로 일치하지 않는 구성 요소를만 지역적으로 적응할 수 있다. 시간이 지남에 따라 시스템을 개선하기 위해, 실렌스는 다중 해상도 지식과 검증기를 개선하여 라우팅 결정력을 향상시킨다. 우리는 이론적으로 다중 해상도 적응이 희박한 일치 가정하에 선형 비용을 발생시키며, 진화적 업데이트 규칙이 유효성 목표를 지역 최적점까지 단조적으로 향상시키는 것을 보여준다. MuLocbench와 ALFWorld에서, 실렌스는 강력한 지식 기반 베이스 라인보다 일관되게 향상되어, 버그 로컬라이제이션에서 6.31%의 Acc@1 향상과 에이전트 성공률을 45.00%에서 51.31%까지 높였다다.

AI 모델 5월 12일

메모큐(MemQ): 자가진화하는 경험기억을 위한 Q러닝 통합

자연어 처리 대규모 언어 모델(LLM) 에서 경험기억을 축적하고 검색하는 것을 허용하지만, 현재의 방법은 각 기억을 독립적으로 평가하고 있기 때문에, 기억이 미래의 기억을 생성하는 의존성 체인에 대한 계산을 고려하지 못하고 있습니다. 메모큐(MemQ)는 TD(λ)가치 추적을 사용하여 기억 Q-값에 적용하고, 기억이 생성될 때 검색된 기억을 기록하는 증명성 DAG에 대한 후방 신호를 전파합니다. 신호의 가중치는 DAG의 깊이 d에 따라 (γλ)^d로 감소하고, 시간적 거리 대신 구조적 근접성을 사용합니다. 실험 결과, 6개의 벤치마크에서 메모큐(MemQ)는 일반화 평가와 런타임 학습에서 최고의 성공률을 달성했으며, 다단계 태스크에서 가장 큰 이익을 보였습니다.