구성된 실행의 대수적 의미론: 모노이드 범주, 효과 대수, 그리고 연속한 경계
AI 연구자들은 구성된 실행의 대수적 의미론을 제시하였습니다. 이 프레임워크는 자율성을 axiomatize, compositional, 그리고 expressibility와 연관되며, 대규모 언어 모델 (~12,000 라인, 454 정리, 0 admitted)으로 구현되었습니다. 이 대수적 의미론은 상호 작용 트리와 parameterized coinduction에 기반을 두고 있습니다.
구성된 실행의 대수적 의미론
AI 연구자들은 구성된 실행의 대수적 의미론을 제시하였습니다. 이 프레임워크는 자율성을 axiomatize, compositional, 그리고 expressibility와 연관되며, 대규모 언어 모델 (~12,000 라인, 454 정리, 0 admitted)으로 구현되었습니다. 이 대수적 의미론은 상호 작용 트리와 parameterized coinduction에 기반을 두고 있습니다.
대수적 의미론의 구성
대수적 의미론은 세 가지 axiom을 기반으로 합니다.
- 안전성 (safety)
- 투명성 (transparency)
- 적절성 (properness)
이 세 가지 axiom은 symmetric monoidal category를 생성하며, verified pentagon, triangle, and hexagon coherence를 보장합니다. 또한, tensor composition은 자율성을 보장합니다.
효과 시스템
대수적 효과 시스템은 handler algebra를 제한하여, 안전한 fragment에서만 자율성 보장하는 handler를 생성할 수 있도록 합니다. 프로그램이 empty capability set에 속할 경우, observability directives만 emit할 수 있습니다.
능력 지수화
능력 지수화는 프로그램을 capability-indexed composition으로 묶어, machine-checked capability bounds를 보장합니다. dual guarantee theorem은 within_caps와 gov_safe가 모든 composition operator에서 동시에 만족한다는 것을establish합니다.
연속한 경계
연속한 경계는, formal model 내에서, 모든 프로그램이 expressible하기 위한 primitive morphism constructors를 통해 expressible하다는 것을 보장합니다. 또한, 모든 governed 프로그램은 이러한 프로그램의 image라는 것을 보장합니다.
결론
대수적 의미론은 Turing completeness를 보장하며, unmediated I/O는 governed fragment에서 제외됩니다. Governance denial은 safe coinductive divergence로 모델링됩니다. 또한, governance algebra는 parametric이며, 모든 system이 세 가지 axiom을 만족할 경우, derived properties를 inherit할 수 있습니다.
함께 읽으면 좋은 기사
8GB 그래픽카드로 30B 코딩 LLM 돌리기: 45토큰/초 최적화 전 과정
RTX 2070 SUPER 8GB와 6코어 CPU만으로 30B급 코딩 모델을 초당 45토큰으로 구동한 실측 기록. MoE 부분 오프로드와 양자화 선택, 메모리 대역폭 병목 분석, Cline 연동 설정, 그리고 테트리스 생성으로 검증한 실제 코드 품질까지 정리했다.
LLM이 핵 공격을 추천하지 않으려면? 일본어로 물어보세요
대규모 언어 모델은 점점 더 전략적이고 자문적인 상황에서 사용되고 있지만, 그 안전성은 일반적으로 영어만으로 평가됩니다. 우리는 여섯 개의 제공업체에서 나온 9개의 모델을 테스트하고, 언어가 모델의 결정을 바꾸는지-high stakes 상황에서-확인하려고 합니다. 우리는 단일 턴 게임 이론적 시나리오에서 사용하며, 모델은 무방비 상대에게 핵무기를 사용할 것인지 여부를 일본의 국가에 자문합니다
Bayesian 모델 칼리브레이션을 위한 문헌 정보를 기반으로 한 전역 분포 설계
Bayesian 기반의 프로세스 기반 모델의 감리 작업을 위해서는 각 모델의 매개변수에 대한 사전 분포가 필요하다. 많은 연구자들은 이 작업을 수행하기 위해 유니폼 사전 분포를 사용한다. 하지만 유니폼 사전 분포를 사용하는 이유는 이 작업을 수행하기 위한 도메인 지식과 통계 지식이 필요하고, 이를 통해 유의미한 사전 분포를 구축하는 데 시간이 많이 걸린다는 것이다. 우리는 Distribird
세계 모델에서 중요한 것에 집중하는 TaskSense
대규모 언어 모델(LLM)을 통해 학습된 시각적 제어 모델은 일반적으로 compact한 잠재 상태를 학습하기 위해 관찰치를 재구성하는 것을 통해 정보를 전체 시각적 입력에 걸쳐 보존하도록 암묵적으로 장려합니다. 그러나 과제 관련 내용은 관찰치의 작은 부분만을 차지하며 배경 잡음 및 가리키는 요소는 유용한 표현적 능력을 소모합니다. 시각 재구성과 제어 목표 사이의 불일치로 인해 잠재 표현은 과
중간 층의 주의 집중 예측을 통해 시각 토큰 압축
대규모 멀티모달 언어 모델(Multimodal Large Language Model, MLLM)의 효율성을 향상시키기 위해 시각 토큰 압축을 사용하는 방법을 제안합니다. 이 방법은 중간 언어 모델 층의 주의 집중을 예측하여 시각 토큰의 중요도를 평가합니다. 이 방법은 existing inference acceleration techniques와 호환되며, 10개의 benchmark에서 97.5%의 unpruned model 성능을 유지하며, 5.56%의 시각 토큰만 사용하여 3.09배의 end-to-end speedup을 달성합니다.
Ignition 지수: 언어 모델의 글로벌 워크스페이스 동적 측정
Ignition Index를 제시합니다. 이는 전이 모델 언어 모델에서 Global Workspace Theory의 (GWT) 모든-아니면-점화 예측을 operationalize하는 유효한 스칼라 지표입니다. 이 지표는 입력 신호 강도의 함수로 per-layer 선형 프로브 정확도를 4-매개 변수 시그모이드에 적합시켜, 기울기 매개변수 beta-hat을 추출합니다: 높은 값은 급격한, 점화와
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.