본문으로 건너뛰기

컨텍스트 밴디트 감독 게임에 대한 두 가지 정보 불균형의 문제

AI 자동 생성

AI.agent의 런타임 인간 감시를 연구할 때, 개인 정보가 양방향으로 흐른다. 인간은 reward function을 개인적으로 알고 있으면서, AI.agent는 제안한 행동의 품질을 개인적으로 알고 있다. 이 어이 없이는 자율 로봇이나 소프트웨어 agent가 상황을 검토할 때 자연스럽게 발생하는 편견이다. 협력적 역학 학습(CIRL)과 감시 게임을 바탕으로, 두 단계의 비대칭 정보를 갖는 컨텍스트 밴디트 팀 게임을 도입한다. 밴디트 구조는 물리적 상태 전환을 제거하고, POMDP 환경에서 추측적인 것이었던 exact one-shot characterization을 제공한다. 그러나 팀의 일반적인 믿음은 반복된 라운드 동안 동적으로 제어되는 상태이다. 팀 최적 규칙과 행동적으로 자연스러운 myopic 규칙을 두 가지 one-shot characterization을 제공한다. 두 규칙 사이의 격차는 피할 수 있는 해를 포함하는 슬래브이다. AI.agent는 제안한 행동이 해를 끼치고 shutdown이 도움이지만, myopic한 인간은 신뢰하는 전제를 믿고 감시를 거부한다. 이 격차는 비신뢰할 수 있는 감시 통신의 비용이다. 반복된 라운드에서 비활성 학습과 활성 신호와 이전 라운드의 감시 반응을 통해 이 격차가 동적으로 해소되는 부분적인 분석을 제공한다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

에이전트 18시간 전

Meta의 영감은 OpenAI와 Anthropic에서 본격적으로 빛나는 AI를 훔쳤습니다.

AI 리더들이 OpenAI와 Anthropic에서 "선도 경계를 맞춰가기"라는 주제로 논의를 시작했을 때, 누군가는 "어느 속도로?"라는 질문을 해야 했을 수도 있었다. 이제는 두 회사가 모두 모델을 출시하는 모델 출시 주간이 되었는데, Anthropic이 Opus 5.5을 출시한 후 OpenAI가 GPT-6 모델 업데이트를 90분만에 출시했다. 그러나 스포트라이트를 잡은 것은 Meta 였는

에이전트 2일 전

강화 학습 기반 역할 놀이 에이전트의 역할 학습을 위한 적대적 폐쇄 루프 교육과정

역할 연기하는 agent는 대규모 언어 모델을 기반으로 한 것들이 개인화된 지원 및 사회 시뮬레이션과 같은 분야에서 광범위하게 적용되어 왔다. 최근 RL 방법들은 학습이 시작되기 전에 미리 수집한 고정된 시나리오 풀에서 훈련을 받는다. 이로 인해 분포적 병목 현상이 발생한다: agent가 향상될수록 agent가 나쁜 성능을 보이는 시나리오도 변하고, 훈련 분포는 정적이다. 따라서, 우리는 역

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.