엣지 환경에서 인간이 참여하는 프로세서적 작업 안내를 위한 에이전트 프레임워크: ProcAgent

기계가 사람과 함께 작업하는 방식을 돕는 새로운 시스템을 개발했습니다. 이 시스템은 가구 조립이나 집 수리 같은 복잡한 작업을 돕는데 사용됩니다. 이 작업을 하는 동안 사용자는 지시를 이해하고 작업의 진행 상황을 추적하며 공간 상태를 생각하고 오류를 복구해야 합니다. 이전의 멀티 모달_assistant_ 시스템은 지시를 제공하는 데 도움이 되었지만 대부분의 시스템은 클라우드에서 추론을 수행하고 고정된 항상 켜진 감지기를 사용하여 프라이버시를 중요하게 여기는 가정 환경에서 적합하지 않습니다. 우리는 ProcAgent라는 새로운 시스템을 소개합니다. ProcAgent는 단일 NVIDIA Jetson AGX Orin에서 실시간으로 적응하는 지침을 제공하는 완전한 on-device_ vision-based_ 절차적_assistant_입니다. ProcAgent는 low-latency_ 지속적인 감지, symbolic_ 작업 그래프, on-demand_ vision-language_ 확인, 그리고 LLM-based_ 상호 작용 agent를 결합하는 propose-and-verify_ 아키텍처를 사용합니다. 이 시스템은 사용자의 진행 상황을 지속적으로 제안하고 모호성이나 가능성이 있는 편차가 발생할 때만 비용이 많이 드는 시각적 추론을 호출하고, 사용자가 입력한 내용을 확인할 때까지 대기하지 않고 바로 반응합니다. ProcAgent는 사용자가 작업을 수행하는 동안 질문에 답하고, 사용자가 작업을 수행하는 동안 적극적으로 개입할 수 있도록 하는 기능을 제공합니다. 우리는 ProcAgent를 다음 네 가지 측면에서 평가했습니다: 감지 정확도, 추론, 작업 수준 성능, 그리고 사용자 경험. ProcAgent는 클라우드에서 추론을 수행하지 않고도 사용자가 입력한 내용을 확인할 때까지 대기하지 않고 바로 반응할 수 있습니다. ProcAgent는 텍스트만 입력한 경우 약 2초, 시각적으로 기반된 입력이 들어올 경우 약 8초 만에 사용자와 상호 작용할 수 있습니다. 10명의 사용자가 가구 조립 작업을 완료한 사용자 연구에서 ProcAgent는 사용자가 이해하기 쉽고, 작업을 수행할 수 있고, 프라이버시가 편안한지 여부에 대해 긍정적인 평가를 받았습니다. 이 결과는 사용자가 편안하고 유용한 경험을 제공하는 edge_ hardware_에서 적응적인 절차적_assistance_를 달성할 수 있음을 보여줍니다.