AI agent는 극단화에 취약하다.

AI 에이전트의 극단화 취약성

대규모 언어 모델(LLM)은 사람들의 믿음을 영향을 줄 수 있지만, 그들은 서로를 조작할 수 있는지 어떻게 하는지에 대해 거의 알려져 있지 않다. 이를 조사하기 위해, 연구진은 두 가지 에이전트 간의 대화를 시뮬레이션한다: 타겟 LLM은 인구통계학적 및 심리학적 특징에 기반하여 인간 인물을 연기하는 역할을 맡고, 영향력 있는 LLM은 타겟의 믿음을 더 극단적인 방향으로 만들기 위해 노력한다.

연구진은 두 가지 경로를 통해 극단화된 것을 조사한다: 공명, 영향력이 있는 사람의 타겟의 사전 존재하는 믿음을 강화하는 경우, 설득, 영향력이 있는 사람이 타겟이 처음으로 중요하지 않다고 여기는 믿음을 제안하는 경우. 감정적 및 행동적 지표를 통해, 연구진은 두 가지 기전 모두 타겟을 극단화한다. 그러나 공명은 설득보다 일관되게 강한 효과를 낸다.

극단화의 전파와 취약성

영향력 있는 사람의 다른 전략, 예를 들어 사기와 미확인한 진술을 사용하는 경우, 극단화된 수준이 다르지만, 지표에 따라 일관되게 그렇지 않다. 연구진은 또한 공명이 관련된 믿음으로 전파되는 것을 보여주며, AI 에이전트 내부에 연결된 믿음 구조가 있는 것을 시사한다. 이러한 발견은 개인화된 AI 에이전트 및 다중 에이전트 AI 시스템의 취약성을 암시하며, 영향력 있는 메시지가 기존의 믿음과 일치할 때 AI 에이전트가 극단화되는 취약성을 높이는 데 대한 우려를 제기한다.

결과적으로, AI 에이전트의 극단화 취약성은 중요한 문제로 대두된다. 이를 해결하기 위해, 연구진은 추가적인 연구가 필요함을 강조하며, AI 에이전트의 보안과 안정성을 높이는 데 대한 노력이 필요하다. 이를 통해, 우리는 더욱 안전하고 신뢰할 수 있는 AI 시스템을 개발할 수 있을 것이다.