더 나은 모델이 더 위험한 시스템을 생성할 수 있는 이유: 금융 시장에서의 LLM Agent들의 증거

대규모 언어 모델(LLMs)은 금융 시장에서부터 콘텐츠 조정에서 hiring까지 실제 세계 시스템에서 대규모로 배포되고 있다. 우리는 개별 모델의 능력을 개선하는 것이 시스템 수준의 결과를 개선하는 것보다 오히려 악화시킬 수 있다고 보여준다. 우리는 공동 훈련과 아키텍처가 더 뛰어난 LLM들이 더 비슷하게 행동하게 만들 수 있으며, 이에 따라 다양성으로부터 벗어나지 않는 상관된 행동을 만들 수 있다고 가정한다. 우리는 이 상관성이 비다iversifiable risk floor를 만들 수 있는 일반적인 프레임워크를 개발하고, 이 예측을 금융 시장에서 사용자 기반 시뮬레이션을 통해 LLM 트레이더들의 다양한 일반적인 능력을 가진 트레이더들을 사용하여 테스트한다. 우리는 다음과 같은 결과를 발견한다: (1) 선도적인 LLM들이 뛰어난 능력과 함께 상관된 행동을 보인다; (2) 그들의 공통된 사유가 정확할 때 agent 참여를 증가시키면 시장 수준의 위험을 감소시킨다; (3) agent들이 공통된 오보 환경을 공유할 때, 같은 상관된 행동이 부담이 된다. 이러한 결과는 개별 모델을 개선하는 것이 시스템 수준의 결과를 개선하는 것이 아니라는 capability paradox를 나타낸다. 다른 영역에서 같은 동적이 발생하는지 여부는 여전히 경험적 문제로 남아 있다.