AI가 인간과 상호작용할 때 이론적 마음의 개선이 실제로 이익이 되나요? 인터랙티브한 평가에서 실증적 발견

인간-AI 상호작용에서 이론적 마음의 개선이 실제로 이익이 되는지 조사하기

인간과 AI 간의 효과적인 사회적 상호작용을 위해 대규모 언어 모델(LLM)의 이론적 마음(TOM) 기능을 개선하는 것이 중요합니다. 그러나 현재의 벤치마크는 일반적으로 이야기 읽기, 세 번째 사람의 관점에서 다중 선택 문제를 측정하여 TOM 기능의 개선 여부를 평가합니다. 그러나 인간-AI(HAI) 상호작용의 첫 번째 사람, 동적, 그리고 개방된 성질을 무시합니다.

인터랙티브한 TOM 평가의 새로운 패러다임

이 연구에서는 TOM 기능의 개선이 HAI 상호작용에 실제로 이익이 되는지 직접 조사하기 위해 새로운 TOM 평가의 인터랙티브한 패러다임을 제안했습니다. 이 패러다임은 HAI 상호작용의 동적성과 개방성을 고려하여 TOM 기능의 개선 여부를 평가합니다.

4개의 대표적인 TOM 강화 기법을 체계적으로 연구

이 연구에서는 4개의 대표적인 TOM 강화 기법을 4개의 실제 세계 데이터 세트와 사용자 연구를 통해 체계적으로 연구했습니다. 이 연구에서는 목적지향적인 작업(예: 코딩, 수학)과 경험지향적인 작업(예: 상담)을 포함하여, TOM 기능의 개선이 동적 HAI 상호작용에서 항상 더 나은 성과로 이어지지 않는다는 것을 발견했습니다.

결론

이 연구는 TOM 평가에 대한 비판적 통찰력을 제공하고, 인간-AI의 조화에 대한 다음 세대의 사회적 인식의 LLM 개발에 대한 중요성을 theirs. HAI 상호작용에서 TOM 기능의 개선이 실제로 이익이 되는지에 대한 더 많은 연구가 필요합니다.