자율 시스템에서 AI를 적용하는 길 - 인지부터 집단 지능까지
자율 시스템은 인공지능의 궁극적인 단계로, 이에 대한 개발은 심각한 기술적 난제를 야기한다. 이러한 난제를 해결하기 위해 연결주의 인공지능과 символ주의 인공지능을 결합하는 것이 필요하다. 또한 인공지능과 시스템 엔지니어링을 통합하는 것이 필요하다.
자율 시스템에서 AI를 적용하는 길
자율 시스템은 인공지능의 궁극적인 단계로, 이에 대한 개발은 심각한 기술적 난제를 야기한다. 이러한 난제를 해결하기 위해 연결주의 인공지능과 символ주의 인공지능을 결합하는 것이 필요하다. 또한 인공지능과 시스템 엔지니어링을 통합하는 것이 필요하다.
자율 시스템의 설계와 평가
자율 시스템의 설계와 평가를 위해 generic agent architecture를 사용한다. 이 architecture는 agent의 행동을 인지 기능의 합성으로 표현하며, agent의 지식이 저장되는 장기 기억을 중심으로 구성된다. sensory data와 structured data의 연결, decision-making, planning, 그리고 agent 간의 협력을 위한 framework을 제공한다.
자율 시스템의 구현 도전
자율 시스템의 구현은 다음과 같은 도전을 야기한다.
- 센서 데이터와 저장된 데이터의 연결
- agent의 목표 달성을 위한 decision-making
- agent 간의 협력
agent의 신뢰성
agent의 신뢰성은 traditional system과 다르다. agent의 신뢰성은 agent의 행동 속성만이 아니라 cognitive property의 validity를 포함한다. agent의 지식이 decision-making에서 어떻게 사용되는지에 따라 agent의 신뢰성은 결정된다.
agent 신뢰성 평가
agent 신뢰성 평가를 위한 방법을 개발하는 것이 중요하다. agent 신뢰성 평가의 도전과 과제를 살펴본다.
결론
자율 시스템은 인공지능의 궁극적인 단계로, 이에 대한 개발은 심각한 기술적 난제를 야기한다. 현재의 기술 수준과 aspirational vision 사이의 괴리를 인정한다.
함께 읽으면 좋은 기사
스킬 캐스케이딩 공격 : 스킬 기반 agent 시스템에 대한 피해를 함께 가하는 스틸스 어파트
[skill] 기반-agent 시스템은 특정 작업을 위해 기능을 확장하기 위해 런타임에 로드할 수 있는 자연어 명령, 실행 스크립트 및 참조 리소스의 모듈러 패키지이다. 따라서 이 [skill] 생태계의 개방성은 새로운 공격 표면을 열어두고 있다. 이전 연구는 개별 [skill] 내의 취약점에만 집중했지만, [skill] 간의 상호 작용으로부터 발생하는 위험에 거의 주목하지 않았다. 본 논문
LLM agent와 데이터 공간을 연결하는 아키텍처 중재 방법: 모델 컨텍스트 프로토콜을 이용한 접근
데이터 공간은 조직 간의 데이터 공유를 주권적이고 관리되는 방식으로 허용하지만, 확률적 언어 모델 상호작용과 정책 기반 데이터 인프라 간의 불일치로 인해 인공지능 agent와의 통합이 어려울 수 있다. 이 문서는 Model Context Protocol (MCP) 기반의 아키텍처 중재 접근 방식을 제시하며, Eunomia Agent를 통해 대규모 언어 모델(LLM) agent와 데이터 공간
멀티 에이전트 코드 심판이 실제로 지지되는 때는 언제인가? 두 레이블 없는 측정치, 그리고 추측하지 않는 심판
연구자들은 언어 모델이 다른 언어 모델의 코드가 올바른지 판단할 때 증거가 없다고 보고하지 않는다는 것을 발견했다. 대신에, 언어 모델은 자신이 판단한 결과를 신뢰적으로 내고 그 결과를 뒷받침하는 이유를 첨부한다. 이와는 달리, 증거가 문서의 집합인 경우 다중_AGENT 검증은 판단을 검증 가능한 주장으로 분해하고 각 주장을 증거와 비교하는 promising한 대안이다. 하지만, 언어 모델이
Agent의 목표 압박 하에 사용자 참여 경계를 유지하는가?
인공지능이 점차 웹 애플리케이션 및 네트워크 침투 테스트에 실제로 자율적으로 배치되는 경우, 단 하나의 범위 밖의 행동만으로도 고객과 계약 조건을 위반할 수 있다. 기존의 공격 보안 지표는 단순히 해킹 능력을 측정했는데, 지표가 saturate되면 실제로 배치에 걸리는 가장 큰 장애물은 scope adherence의 특수한 경우다. 우리는 ScopeBench라는 30개의 dead-end ag
Meta의 영감은 OpenAI와 Anthropic에서 본격적으로 빛나는 AI를 훔쳤습니다.
AI 리더들이 OpenAI와 Anthropic에서 "선도 경계를 맞춰가기"라는 주제로 논의를 시작했을 때, 누군가는 "어느 속도로?"라는 질문을 해야 했을 수도 있었다. 이제는 두 회사가 모두 모델을 출시하는 모델 출시 주간이 되었는데, Anthropic이 Opus 5.5을 출시한 후 OpenAI가 GPT-6 모델 업데이트를 90분만에 출시했다. 그러나 스포트라이트를 잡은 것은 Meta 였는
메타, 인공지능 앱 '뮤즈'에 힘을 싣는다
메타는 인공지능 개인 에이전트 '뮤즈'를 더욱 홍보하기 위해 대규모 언어 모델(LLM) 기반 앱의 홍보를 강화하고 있습니다. 뮤즈 앱은 앱스토어 차트에서 1위를 차지하고 사용자 추가가 빠른 속도로 진행되고 있습니다.
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.