본문으로 건너뛰기

<b>MetaSpace: embodie드 기계의 공간 인식 평가</b>

embodied agent의 공간 인식 평가를 위해 MetaSpace 프레임워크를 제안했습니다. 이 프레임워크는 spatiotemporal multimodal states를 사용하여 embodied agent의 공간 인식 오류를 자동으로 감지합니다. 실험 결과, MetaSpace는 state-of-the-art embodied agent의 90,422개의 공간 인식 오류를 성공적으로 감지했습니다.

AI 자동 생성

embodied agent는 물리적 몸체를 통해 환경과 상호 작용하는 지능형 엔티티입니다. embodied agent의 평가에는 현재 두 가지 패러다임이 사용됩니다. 첫째, 시각 문제 해결(VQA) pairs의 수동으로 어노테이션된 pair, 둘째, 높은 수준의 작업 완료 지표, chẳng hạn에 성공적인 항해 또는 조작입니다. 후자는 중요성 있는 취약성을 숨기고, agent가 작업을 완료하기 위해 suboptimal 방법 또는 안전 위반을 사용할 수 있으므로, 작업 중에 embodie드 기계의 공간 인식이 robust한지 평가하는 것이 중요합니다.

MetaSpace 프레임워크

MetaSpace는 embodie드 기계의 공간 인식 평가를 위해 설계된 프레임워크입니다. 이 프레임워크는 spatiotemporal multimodal states를 사용하여 embodie드 agent의 공간 인식 오류를 자동으로 감지합니다. MetaSpace는 metamorphic testing principles를 사용하여 embodie드 agent의 공간 인식 오류를 감지합니다.

MetaSpace의 작동 원리

  • MetaSpace는 embodie드 agent의 spatiotemporal multimodal states를 사용하여 embodie드 agent의 공간 인식 오류를 감지합니다.
  • MetaSpace는 metamorphic relations을 사용하여 embodie드 agent의 공간 인식 오류를 감지합니다.
  • MetaSpace는 embodie드 agent의 공간 인식 오류를 감지한 후, embodie드 agent의 공간 인식 성능을 평가합니다.

실험 결과

실험 결과, MetaSpace는 state-of-the-art embodie드 agent의 90,422개의 공간 인식 오류를 성공적으로 감지했습니다. 실험 결과, embodie드 agent의 공간 인식 성능을 평가하기 위해 Spatial Cognition (SC) 점수를 사용했습니다. embodie드 agent의 평균 SC 점수는 0.44에서 0.52로, 인간의 기준점인 0.96보다 낮았습니다.

MetaSpace는 embodie드 agent의 공간 인식 오류를 감지하기 위해 metamorphic testing principles를 사용했습니다. MetaSpace는 embodie드 agent의 spatiotemporal multimodal states를 사용하여 embodie드 agent의 공간 인식 오류를 감지했습니다. 실험 결과, MetaSpace는 embodie드 agent의 공간 인식 오류를 성공적으로 감지했습니다.

원문 보기 arXiv AI

함께 읽으면 좋은 기사

에이전트 16시간 전

Meta의 영감은 OpenAI와 Anthropic에서 본격적으로 빛나는 AI를 훔쳤습니다.

AI 리더들이 OpenAI와 Anthropic에서 "선도 경계를 맞춰가기"라는 주제로 논의를 시작했을 때, 누군가는 "어느 속도로?"라는 질문을 해야 했을 수도 있었다. 이제는 두 회사가 모두 모델을 출시하는 모델 출시 주간이 되었는데, Anthropic이 Opus 5.5을 출시한 후 OpenAI가 GPT-6 모델 업데이트를 90분만에 출시했다. 그러나 스포트라이트를 잡은 것은 Meta 였는

에이전트 2일 전

강화 학습 기반 역할 놀이 에이전트의 역할 학습을 위한 적대적 폐쇄 루프 교육과정

역할 연기하는 agent는 대규모 언어 모델을 기반으로 한 것들이 개인화된 지원 및 사회 시뮬레이션과 같은 분야에서 광범위하게 적용되어 왔다. 최근 RL 방법들은 학습이 시작되기 전에 미리 수집한 고정된 시나리오 풀에서 훈련을 받는다. 이로 인해 분포적 병목 현상이 발생한다: agent가 향상될수록 agent가 나쁜 성능을 보이는 시나리오도 변하고, 훈련 분포는 정적이다. 따라서, 우리는 역

관련 콘텐츠 더 보기

다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.