공공 공간에서 손가락 제스처와 같은 상호 작용의 프레임 단위 인식에서 이벤트 단위 확인까지 : 복구 트레이스와 런타임 실패 분석

공공 공간에서 손가락 동작 인터랙션은 일반적으로 프레임 단위인 인식 문제로 평가되지만 실제로 배포된 시스템은 다른 실패 경계를 노출한다. 경치가 있는 키오스크, 전시관, 서비스 터미널 등에서 사용자는 의도된 동작이 안정적인 인터랙션 이벤트가 되는지 아닌지 경험한다. 개인의 손가락 프레임이 정확한지 아닌지에 집중하는 것이 아니다. 우리는 이 문제를 인식-인터랙션 간격(recognition-to-interaction gap)이라고 부른다. 이 논문은 4가지 손가락 동작(두 손가락으로 bowing, 한 손가락으로 fist shaking, 두 손가락으로 catching control, 지식 그래프 노드 hovering)을 수행하는 경치 지역 인터랙티브 키오스크 프로젝트의 8건 엔지니어링 수리 기록을 분석한다. 이 기록에서 우리는 20개의 실패 인스턴스를 추출하고 6개의 비멸종적 작업 실패 클래스로 분류한다: 모델 출력Degeneration, temporal mismatch, geometric-scale instability, coordinate-rendering mismatch, runtime lifecycle failure, feedback synchronization and recovery failure. 실패 메커니즘의 반복 패턴을 분석하여 hand-landmark model과 interaction task 사이의 event-level runtime abstraction을 구축한다. 이 논문의 기여는 다음과 같다: 배포 기반 실패 분류학, event-confirmation runtime abstraction, 사례 연구 결과. 새로운 인식 모델, 대규모 사용자 평가, 정확도 향상량을 주장하지는 않습니다.