작업을 마무리하는 것만큼 충분하지 않다: 평가하는 agent의 내구성과 고려 깊은 참여를 위한 축적된 도전

generative AI agent를 장기적으로 배치할 때 단일 작업의 성공만큼은 아니야. agent는 반복적인 상호 작용, 변화하는 조건, 사람들에 대한 의존성, 공유 워크플로우에서 특히 기술적, 인간적, 운영적 방해가 시간에 따라 쌓여가면서 유용하게 유지해야 해. 우리는 운영성과 배려 참여를 평가하는 agent의 두 개의 보완적인 측면을 제안한다: former는 agent가 작업이 막히면서 진행을 보존하고 한계를 전달하는 동안 recovery를 캡처하고 latter는 adaptation이 사람들, 역할 경계, 주변 워크플로우에 영향을 미치는 adaptation을 캡처한다. 하지만 두 측면은 모두 쌓이는 도전 하에서 여전히 미흡하게 탐구되었다. 우리는 120개의 시뮬레이션된 의료 경로를 2개의 generative AI 모델과 12개의 이해 당사자로부터 얻은 작업을 light, medium, heavy 도전 하에서 연구했다. 우리는 텍스트 액션 플랜, 내부 평가, 구조화된 업무 및 감정 보고서를 비교했다. 도전이 쌓일 때 agent의 행동과 보고된 상태를 어떻게 변화하는지 살펴봤다. 운영성에 대한 관점에서, agent는 self-directed recovery에서 human dependence에 대한 의존성을 높이며, 구조화된 보고서에서 증가하는 업무 및 부정적 감정 report를 하지만 텍스트 응답에서 거의 스트레스를 표현하지 않는다. 배려 참여에 대한 관점에서, agent는 task-focused adaptation에서 task reframing, others에 대한 주의, role-boundary adjustment, wider coordination까지 broaden한다. 이 발견들로 부터 우리는 persistence, attention, role boundaries, state disclosure, escalation과 관련된 5개의 배치 문제점을 도출했다. 이들은 stakeholder의 명시를 필요로 하며, learning, situated evaluation, embodied adaptation에 대한 기술적 함의를 더 탐구한다.