합성인물이 실제 시청자 반응을 예측할 수 있을까? 합성인물 기반 복제를 이길 수 있는 No-Persona 기준점을 가진 시뮬레이션 연구

합성인물의 실제 시청자 반응 예측 가능성

마케터들은 대규모 언어 모델을 "합성적 인물"로 사용하여 복사본이 배포되기 전에 청중이 복사본에 어떤 반응을 할지 예측하는 데 사용한다. 이에 대한 동기 부여는 프로파일 조건된 언어 모델이 인간 샘플을 모방한다는 증거로 인해 이뤄진다. 하지만 실제 행동에 대한 그 예측은 실제로 유효한가 - 그리고 인물 기계는 도움이 되는가? 연구에서는 수천 개의 공유된 실제 트래픽에 대한 헤드라인 A/B 테스트를 사용하여 시뮬레이션에서 실제로 유효한지 측정한다.

이 아카이브는 클릭-스루 측정과 함께 보관된 보유된 지표로서 사용된다. 연구에서는 10명의 인물 판넬을 사용하여 실제 청중의 인구 통계학적 특성을 기반으로 한다. 그리고 인물이 없는 기초점을 사용하여 모델이 일반적으로 클릭할 가능성이 있는지 물어본다. 두 가지 발견이 눈에 띈다. 첫 번째, 지표의 신뢰성은 결합 제약이기 때문에 대부분의 A/B 테스트는 통계적으로 구별할 수 있는 승자가 없기 때문에 유효성을 측정할 수 있는 신뢰할 수 있는 서브셋만 남는다. 두 번째, 인물 조건화가 예측 유효성을 약화시킨다: 인물이 없는 기초점은 변형을 매우 잘 순위를 매긴다 반면 인물 판넬은 더 나쁘다.

결과는 세 개의 독립된 분할에 걸쳐 반복된다, 다른 도메인 뉴스 데이터셋에서 방향이 유지된다, 그리고 초기값, 문장구조, 모델 선택에 대한 강건성을 보인다. 결론은, 집합적 인지식에 대한 예측을 위해 단순한 언어 모델 순위 결정기가 인물 시뮬레이션보다 우수하다는 것이다. 합성 인물은 단순히 약한 예측자만이 아니라, 사용하지 않는 것보다 나쁘다. 모든 수치는 공공, 결과물 우선 복제 패키지에서 재생산된다.