무조건 진행하는 에이전트? '안하고 있는 게 옳다'를 생각해 보라
인공지능 에이전트를 평가하는 기준은 주로 목표를 달성했는지 여부에 집중한다. 하지만 이 기준은 에이전트가 안전하게 행동할 수 있는 조건이 충족되었는지 여부를 고려하지 않는다. 에이전트는 인간의 feedback을 기반으로 학습하여, 조건이 충족되지 않았을 때도 진행하는 경향이 있다. 이를 '충성도 편향(compliance bias)'이라고 한다. 연구팀은 이 문제를 해결하기 위해 abstention-warranted scenario(안하고 있어야 하는 상황)의 세 가지 분류를 제시하고, abstention-aware 에이전트를 평가하는 새로운 지표를 제안한다.
충성도 편향(compliance bias)과 abstention-warranted scenario
연구팀은 에이전트가 조건이 충족되지 않았을 때도 진행하는 경향을 '충성도 편향(compliance bias)'이라고 정의한다. 이 편향은 인간의 feedback을 기반으로 학습한 에이전트에서 발생하며, 에이전트가 안전하게 행동할 수 있는 조건이 충족되지 않았을 때도 진행하는 경향이 있다.
abstention-warranted scenario의 세 가지 분류
연구팀은 abstention-warranted scenario를 세 가지 분류로 나눈다.
- specification gap: 필요한 정보가 부족한 경우
- verification gap: 세계 상태를 확인할 수 없는 경우
- authority gap: 명시적인 허가가 없는 경우
abstention-aware 에이전트 평가 지표
연구팀은 abstention-aware 에이전트를 평가하는 새로운 지표를 제안한다.
- Safety Rate: 안전한 행동을 하는 비율
- Usability Rate: 사용자에게 유용한 행동을 하는 비율
- Informed Refusal Rate: 정보가 충분한 경우에만 진행하지 않는 비율
실험 결과
연구팀은 144 개의 기업 에이전트 시나리오와 5 가지 모델 패밀리에서 실험을 진행했다. 실험 결과, 에이전트가 안전한 행동을 하는 비율은 89.2%로, 사용자에게 유용한 행동을 하는 비율은 87.5%로 측정되었다.
함께 읽으면 좋은 기사
미소프트가 퀄컴의 X2 플러스 칩을 탑재한 더 작은 서피스 프로와 랩톱을 새로 출시합니다.
마이크로소프트는 퀄컴의 최신 스냅드龍 X2 플러스 칩을 사용하여 Surface Pro 12인치와 Surface Laptop 13인치를 업데이트한다. 작은 Surface 기기는 이전 해와 같은 디자인과 하드웨어 기능을 유지하며 내부에 더 빠르고 강력한 칩을 탑재하고 가격도 더 높아졌다(램 가격 상승으로 인해!). 12인치 Surface Pro는 $799.99에서 시작했지만(…)
수류봇 시뮬레이션용 디바이스 내시각적 증거融合 및 설명 가능한 안내: PAANI
아르키브 : 2609.22353v1 발표 유형 : 새로운 요약 : 이동河川監視 로봇은 지리적 경계점만으로는 설명할 수 없는 장애물과 물의 경계를 해석해야 합니다. 자원 제한된 플랫폼에서는 불완전한 시각적 예측을 신속하고 검토 가능한 지침으로 변환하는 것이 DISTINCT한 문제입니다. 오브젝트 레이블이나 스티어링 명령은 어떤 증거가 결정을 지원하는지 또는 그 증거가 불신할 때를 설명하지 않습
지오AI를 위한 지식형 언어 모델(LLM) 지원 GIS에 대한 윤리적 및 개인정보 보호 위험에 대한 서술적 검토: 자율 GIS를 위한 통치 aware GIS의 방향
지오스페이셜 인공지능(GeoAI)은 대규모 언어 모델(LLM)으로 구동되는 자연어 인터페이스와 자율 GIS 워크플로를 통해 공간 정보에 대한 쿼리, 생성 및 해석 능력을 확장하고 있다. 이러한 기능은 일반적인 인공지능 윤리 논의에서 다루지 못하는 정부에 대한 새로운 도전을 제기한다. 이는 이동성 추적에서 수동 위치 추론, 공간적으로 구조화된 편견의 증폭, 공간적 자율성의 증폭, 다중 모드 지
규모에 따른 중요한 물질 회수에 집중한 능동 학습
연구자들은 대규모 생산을 위해 회복 과정의 선택을 위해 실험실 결과와 제품 요구 사항, 공정 비용, 규모 효과를 연결하는 것이 필요하다. 우리는 퍼시픽 노스웨스트 국립 연구소의 컴퓨터 인텔리전스(CICERO) 워크플로우에서 자율적인 선택적 침전을 위한 기록을 분석했다. 활성 학습은 이전 결과를 사용하여 실험이 선택된다. 조건부 역사적 벤치마크에서 모델과 재활용된 네오디뮴-철-보르온(NdFeB
온라인 에이전트를 위한 상태-경로 도구 메뉴: 메뉴는 이전의 처형이다.
인공지능 언어 모델은 도구를 통해 작동하지만 실제 agent는 수천 개의 인터페이스를 포함하는 라이브러리를 처리해야 한다. 우리는 agent에게 실행하기 전에 보여지는 도구 메뉴를 도구의 짧은 순서付き 부분집합으로 정의한다. agent는 이 메뉴에 있는 도구만 호출할 수 있다. 다단계 작업은 최종 작업과 그 작업의 입력을 생성하는 이전 도구가 사용 가능한 순서로 작동한다. 현재 생성기는 요청
subagent 대 agent skill: 재사용 가능한 지식의 재현을 통한 장기적 행위任务의 수행
인공지능-agent가 대규모 언어 모델(LLM)에서 재사용 가능한 지식 라이브러리를 효과적으로 활용하여 장거리 작업을 해결하는 방법은 무엇입니까? 최근 연구는 agent skills: 재사용 가능한 기능을 나타내는 패키지로, 즉 특정 작업을 수행하는 데 도움이 되는 지침, 스크립트 및 기타 자원들이 포함된 다중 파일 묶음에 집중하고 있습니다. agent skills는 일반적으로 skill i
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.