전체 기사
대규모 언어 모델의 법적 적용은 큰 약속과 심각한 위험을 동시에 가져옵니다. 법조인들은 계약을 논리적으로 Reasoning, 문서를 작성하고 출처를 분석할 수 있는 AI가 제공하는 이점을 누릴 수 있지만, 법적 업무의 고위험성은 현재 AI 시스템이 제공하는 정도의 엄격함을 요구합니다. 법적 AI가 신뢰할 수 있는 결과를 제공하기 위해 고안된 새로운 접근법이 소개됩니다.
대규모 언어 모델(LLM)로 최근 활발하게 연구되고 있는 자기 학습 표현 학습 기법인 마스크드 오토인코더(MAE)가 뇌 기능 연결성(FC) 표현 학습에 hứ부한 결과를 보여주고 있습니다. 그러나 FC 매트릭سات의 토큰화 방식에 대한 기초적인 문제가 여전히 해결되지 않았습니다. 기존의 접근 방식은 지역 중심적 또는 그래프 기반의 스킴을 사용하여 FC를 구조적으로 동일한 요소로 다루고, 대규모 네트워크 뇌 조직을 무시합니다. 이 연구에서는 NERVE(네트워크 인지식 이중 토큰화: 뇌 기능 연결성 이중 토큰화)를 제안하여 FC 토큰화 방식을 재정의합니다. NERVE는 FC 매트릭스들을 intra- 및 inter-네트워크 연결성 블록으로 나누어 tokenize합니다. 이 연구에서는 NERVE를 대규모 개발적 코호트(ABCD, PNC, CCNP)에서 행동 및 심리병 예측 평가를 통해 검증하였습니다. NERVE는 구조적으로 무감각한 MAE 변형 및 그래프 기반 자기 학습 기초점에 비해 더 안정적이고 전이 가능한 표현을 제공하였습니다.
대규모 언어 모델(LLM)은 자율적 인 에이전트로 작동하여 직접 답변하기 versus 외부 도구를 호출할 때를 결정해야 합니다. 그러나 도구의 필요성은 implies 모델에 독립적 인 속성으로 인식되며, 대개 명백한 경우 (예: 날씨를 가져오기 vs. 텍스트를 재구성하기)로 제한되었습니다. 그러나 실제로 도구의 필요성은 더 복잡합니다. 예를 들어, 강력한 모델이 해결할 수 있는 문제를 약한 모델이 도구를 사용해야 할 수 있습니다. 이 연구에서는 모델 적응적 인 도구의 필요성을 정의하고, 이 정의에 따라 어휘 및 사실적 QA 데이터 세트에서 4개의 모델의 도구 호출 행동을 비교합니다. 결과는 26.5-54.0% 및 30.8-41.8%의 성능 불일치가 발견되었습니다. 이를 해결하기 위해, 우리는 도구 사용을 두 단계로 나누었습니다: 내부 인식 단계와 실행 단계. 두 단계 모두 linearly decodable이지만, probe directions는 late-layer, last-token regime에서 nearly orthogonal이 됩니다. 샘플의 트레일러를 추적하여, 우리는 cognition-to-action transition에서 불일치가 대부분 집중되는 것을 발견했습니다. 이러한 결과는 LLM 도구 사용에서 아는 것과 하는 것의 격차가 존재한다는 것을 보여줍니다. 도구 사용의 신뢰성을 개선하기 위해서는 도구가 필요할 때 이를 인식하는 것만큼, 그 인식을 행동으로 옮기는 것이 중요합니다.
대규모 언어 모델의 생산성은 기계 학습의 원리에 의해 신뢰할 수 있지만, 생성된 텍스트의 내용에 대한 신뢰는 비슷한 원리를 기반으로 하지는 않습니다. 새로운 논리적 사고 방법을 제안하여 대규모 언어 모델의 효율성을 향상하고, 기존의 소프트웨어와 하드웨어 기반을 유지할 수 있도록 합니다.
대규모 언어 모델(LLM) 기반 에이전트의 광범위한 적용을 위해 인간 사회 가치와 강한 적합성이 필요합니다. 그러나 현재 연구는 자가 인식과 딜레마 결정, 자가 감정 등에서 결함을 보입니다. 이를 해결하기 위해 가치 기반 프레임워크를 제안하고, GraphRAG를 사용하여 원칙을 가치 기반 지시문으로 변환하고, 특정 대화 문맥에서 적합한 지시문을 검색하여 에이전트를 예상하는대로 행동하도록 제어합니다.
과학 이론 전환을 감지하는 AI 에이전트가 데이터에 적합한 방정식을 맞추는 것 이상의 것이 필요하다. 인공 과학 에이전트는 기존의 표현적 프레임워크가 새로운 영역으로 운반될 수 있는지, 또는 그 언어가 지역적으로-global하게 장애가 발생하고 확장해야 하는지 감지해야 한다. 이 논문은 운반 및 장애를 통해 이론 전환 후보를 감지하는 유한 Sheaf-이론적 프레임워크를 개발한다.
자연어 처리 모델은 일반적으로 다음 토큰 예측 목표로 훈련되지만, 많은 다운스트림 애플리케이션은 시퀀스 수준의 속성을 추정하거나 제어할 수 있는 능력을 필요로 합니다. 다음 토큰 예측은 훈련 중에 지역 패턴에 대한 과적합, 전역 구조에 대한 과소적합, 그리고 인플루언스 시간에 전역 속성을 예측하거나 안내하기 위한 다운스트림 수정 또는 비싼 샘플링이 필요합니다. 이에, 우리는 속성에 대한 조건부 속성 변환기(Conditional Attribute Transformers)를 소개합니다. 이 프레임워크는 단일 전방 패스에서 세 가지 중요한 기능을 제공합니다: (1) 시퀀스 전체에서 각 토큰에 대한 신용 부여, (2) 대체 다음 토큰 선택에 대한 속성 차이량의 계산, (3) 다음 토큰과 속성 확률의 조합에 기반한 시퀀스 디코딩.
정치 뉴스 Nugget은 대규모 언어 모델(LLM)을 장소성 프레임워크에 통합하여 정적 질문에 대한 긴 문맥 정보 검색을 개방형 탐색으로 변형시켰다. 그러나 실제 세계 사용에는 모델이 분산된 소스에서 '장거리' 사실을 발견하고 통합하는 능력이 필요하며, 이 능력은 평가되지 않았다. 정치 뉴스 Nugget은 400명의 글로벌 엘리트를 위한 정치 전기서를 구성하여 10,000개 이상의 정치 사실을 포함하는 다언어 벤치마크를 소개한다.
이 연구에서는 무작정 메모리를 구축하는 방법을 연구한다. 무작정 메모리는 offline에서 커데이션된 데모레이션으로 구축하거나 online에서 포스트-배포 인터랙션으로 구축할 수 있다. 그러나 무작정 메모리는 새로운 환경에 처음 도입되었을 때 작업에 특화된 경험을 제공하지 않는 경우 cold-start gap을 마주한다. 이 연구에서는 무작정 메모리를 구축하기 전에 다음 환경의 경험을 제공하지 않는 경우 대규모 언어 모델(LLM)과 같은 메모리를 구축하는 방법을 연구한다.
AI 시스템의 안전성을 높이기 위해 다중 에이전트 지휘 시스템을 사용하는 기업이 증가하고 있지만, 지휘자의 불투명성에 대한 안전성의 영향은 아직 empirical 테스트되지 않았다. 연구진은 3x2 실험을 수행하여 3가지 조직 구조(투명한 리더, 불투명한 지휘자, 평평한)와 2가지 정렬 조건(기본, 중간)을 비교하였다. 연구 결과, 불투명한 지휘자가 투명한 리더보다 집단 분리도를 높여주었고, 지휘자 자신이 최대 분리도를 보였다.
AI 에이전트 아키텍처에 대한 기존 프레임워크는 단일 관점에서 시스템을 설명합니다. 산업 가이드는 실행 토폴로지에 초점을 맞추며, 인지 과학 교과서는 인지 기능에 초점을 맞추며, 그 중 하나만으로도 아키텍처적으로 DISTINCT 시스템을 구분할 수 없습니다. 우리는 인지 기능축과 실행 토폴로지축을 결합하여 두 차원 분류를 제안합니다. 인지 기능축에는 7개 카테고리(컨텍스트 엔지니어링, 메모리, 사유, 액션, 반영, 협력, 지배)가 포함되며, 실행 토폴로지축에는 6개의 구조적 아키텍처가 포함됩니다. 이 결과로 27개의 이름이 지정된 패턴이 생성되며, 13개는 원래 이름이 지정됩니다.
식단 최적화 문제는 운영 연구의 가장 오래된 최적화 문제 중 하나입니다. 그러나 기존의 형식에는 두 가지 지속적인 한계가 있습니다. 연속 변수는 실제적인 분수 섭취를 생성하고 (1.7개의 계란, 0.37개의 바나나), 그리고 강도 영양 섭취가 목표가 충돌할 때 불가능합니다. 56개의 식단 최적화 논문에 대한 체계적인 검토는 integer programming과 goal programming을 모두 결합하는 논문이 없다는 것을 발견했습니다. 우리는 개인화된 식사 최적화를 위한 혼합 정수 목표 프로그래밍(MIGP)을 제안합니다. 이 형식은 실제적인 섭취 수를 위한 정수 변수를 사용하고, 목표 영양 섭취를 위한 goal programming의 변동을 사용합니다. 또한, multi-nutrient 최적화를 균형시키기 위해 역-목표 정규화(INN)를 사용합니다. 식품당 섭취의 자연 단위(한 개의 계란, 한 자루의 기름)를 허용하기 위해 per-food 섭취의 세분성은 자연 단위로 유지됩니다.
