듀플렉스 스피치 벤치-IFEval: 완전 듀플렉스 음성 대화 봇의 암묵적 지시 수행 평가

대화 중단 없이 대화하는 음성 대화 요원은 항상 듣기, 백채널, 중단, 말 오버랩 처리, 대화에 참여하기, 대화에 참여하는 것을 포기하기 등과 같은 행동을 결정해야 합니다. 현재의 벤치마크는 이러한 행동을 명시적인 대화 순서 관리 지시문을 통해 테스트하는 반면, 배치된 요원은 종종 역할이나 인격으로 구성되며, 해당 대화 행동이 추론되어야 합니다. 우리는 실시간 대화 중에서 암묵적인 지시를 따르는 평가를위한 DuplexSpeechBench-IFEval(DSB-IFEval)을 소개합니다. DSB-IFEval은 8 가지 다양한 보조 역할을 포함한 1,038 개의 테스트 케이스를 포함하여 지시를 따르는 5 가지 조건을 평가합니다. (1) 기본 행동, (2) 명시적인 행동 지시, (3) 인격에 의한 행동, (4) 인격과 규칙 조건이 결합된 행동, (5) 지시 충돌. 우리는 실시간 대화의 대화 참여 관리를 평가하기 위해 결정론적 Instruction Adherence Score(IAS)와 LLM-judged Persona Adherence Score(PAS)를 사용합니다. 6 개의 실시간 대화 시스템에서, 우리는 구조에 의한 트레이드 오프를 발견합니다. F-Actor와 PersonaPlex와 같은 풀 디럭스 모델은 대화 행동이 명시적으로 stated되거나 인격으로부터 추론되어야 하는지에 따라 더 민감하며, 인격만으로 조건이 되는 경우로 인해 9.7%와 4.5%의 대화 행동 지속도 하락이 발생합니다. 반면, GPT-Realtime, MiniCPM-o, Fun-Audio-Chat는 인격에 따라 일관된 대화 내용을 따르지만, 명시적인 지시와 인격만으로 조건이 되는 지시 사이의 대화 참여 행동은 적응하지 못하고, 몇 가지 적극적인 행동에 제한됩니다. 우리는 또한 시스템이 충돌하는 지시를 신뢰할 수 있더라도, 그 지시를 안전 충돌로 인해 오버라이드하는 데 어려움을 겪는다는 것을 발견했습니다. 이러한 결과는 대화 중단 없이 대화하는 음성 대화 요원에게, 대화 행동이 암묵적으로 암시되는 역할을 추론하고, 적절한 대화 시점에 이를 실행하고, 충돌하는 지시를 해결하는 것이 각각 DISTINCT한 도전임을 보여줍니다.