본문으로 건너뛰기

GPTNT: 실시간 멀티모달 agent 간 협업을 위한 'Keep Talking And Nobody Explodes' 벤치마크

인공지능이 인간이나 다른 인공지능과 협력하여 작업을 수행하는 데 사용되는 다중 모드 모델의 사용이 점점 증가하고 있습니다. 현재 기준의 벤치마크는 이러한 모델이 여러 구성 요소의 능력을 갖추고 있음을 보여주지만 협력 시 발생하는 시간 압박, 정보 비대칭성 및 불완전한 통신과 같은 조건은 일반적으로 분리된 상태에서 연구됩니다. 우리는 협력하는 두 개의 agent가 반응 시간 내에 생성된 폭탄

AI 자동 생성
인공지능이 인간이나 다른 인공지능과 협력하여 작업을 수행하는 데 사용되는 다중 모드 모델의 사용이 점점 증가하고 있습니다. 이러한 모델은 여러 구성 요소의 능력을 갖추고 있지만, 협력 시 발생하는 시간 압박, 정보 비대칭성 및 불완전한 통신과 같은 조건은 일반적으로 분리된 상태에서 연구됩니다. 이를 해결하기 위해 새로운 벤치마크가 필요합니다.

GPTNT 벤치마크

GPTNT는 협력하는 두 개의 agent가 반응 시간 내에 생성된 폭탄 퍼즐을 분리하기 위해 협력하는 비디오 게임 Keep Talking and Nobody Explodes에 기반을 둔 새로운 벤치마크입니다. 한 agent는 폭탄을 볼 수 있고 조작할 수 있지만 분리 방법을 알지 못합니다. 다른 agent는 분리 방법을 알고 있지만 폭탄을 볼 수 없거나 조작할 수 없습니다. 두 agent 중 어느 하나도 성공할 수 없습니다. 성공은 효과적이고 효율적인 의사소통이 필요합니다. GPTNT는 모델이 현재 상황에서 무엇을 알 수 있는지와 이미 알고 있는 정보를 구별하기 위해 instruction manual, partner 또는 두 가지 모두가 숨겨질 수 있도록 설계되었습니다. 현재의 최고 수준의 시스템에 대한 GPTNT는 실시간으로 단 한 개의 폭탄을 분리하는 바를 돌파하지 못한다는 것을 보여주었습니다. GPTNT는 closed- 또는 open-source model을 테스트하여 critical weaknesses를 식별하였습니다. 이들에는 state tracking, 시간 압박 하의 효율적인 행동, 모호함 처리 및 오류 회복이 포함됩니다.
원문 보기 arXiv AI

함께 읽으면 좋은 기사

에이전트 17시간 전

Meta의 영감은 OpenAI와 Anthropic에서 본격적으로 빛나는 AI를 훔쳤습니다.

AI 리더들이 OpenAI와 Anthropic에서 "선도 경계를 맞춰가기"라는 주제로 논의를 시작했을 때, 누군가는 "어느 속도로?"라는 질문을 해야 했을 수도 있었다. 이제는 두 회사가 모두 모델을 출시하는 모델 출시 주간이 되었는데, Anthropic이 Opus 5.5을 출시한 후 OpenAI가 GPT-6 모델 업데이트를 90분만에 출시했다. 그러나 스포트라이트를 잡은 것은 Meta 였는

에이전트 2일 전

강화 학습 기반 역할 놀이 에이전트의 역할 학습을 위한 적대적 폐쇄 루프 교육과정

역할 연기하는 agent는 대규모 언어 모델을 기반으로 한 것들이 개인화된 지원 및 사회 시뮬레이션과 같은 분야에서 광범위하게 적용되어 왔다. 최근 RL 방법들은 학습이 시작되기 전에 미리 수집한 고정된 시나리오 풀에서 훈련을 받는다. 이로 인해 분포적 병목 현상이 발생한다: agent가 향상될수록 agent가 나쁜 성능을 보이는 시나리오도 변하고, 훈련 분포는 정적이다. 따라서, 우리는 역

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.