몸을 가진 계획에서 ẩn상태 사회 규범 준수에 대한 기준점: NormAct

대규모 멀티모달 언어 모델은 점점 더 실제 환경에서 사용되고 있다. 이러한 환경에서 성공적인 작업은 수행한 명령에 달려 있으면서도 사회적으로 적절한 방식으로 행동하는 것이 중요하다. 명확한 목표는 특정 행동을 최적화하는 데 도움이 될 수 있지만, 암묵적인 사회적 규범은 숨겨진 제약을 가질 수 있다.

기존의 평가 방법은 주로 명확한 목표 달성을 위한 행동 또는 직접적인 규범 지식을 평가하는 데 초점을 맞추고, 행동 시퀀스 내에서 이러한 숨겨진 제약을 추론하고 적용할 수 있는지 여부는 거의 고려되지 않았다. 이를 해결하기 위해, 우리는 실제 환경에서의 사회 규범 상호 작용을 위한 새로운 평가 기준을 제시한다. 이 평가 기준은 목표 달성, 규범 준수 및 총 작업 성공을 평가한다.

새로운 평가 기준 결과

새로운 평가 기준을 통해 최신 대규모 멀티모달 언어 모델과 실험을 진행한 결과, 모델은 명확한 목표를 달성하는 경우에는 성공하지만, 숨겨진 규범을 준수하는 경우에는 성공률이 낮았다. 이러한 격차는 일반적인 사회적 지식의 부족이 아닌, 관련 규범을 상황에 맞게 활성화하고 적용하는 과제가 주요 원인이다.

이를 해결하기 위해, 우리는 상황에 맞게 활성화되는 신호 생성기를 제안한다. 이 생성기는 계획 이전에 장면에 관련된 규범을 추론하여, 작업 성공률을 향상시킨다. 실험 결과는 실제 환경에서의 에이전트가 숨겨진 규범을 미리 감지하고 시각적 증거에 근거하여 적용하고, 행동 계획 제약으로 통합하는 것이 중요함을 강조한다.