인공 지능의 모음지능을 넘어서: 메타-인격ANCHOR링과 순차적 온도 스케일링을 통한 LLM의 동일성 탈출

최근 연구에서 대규모 언어 모델(LLMs)에서 '인공 집단 지성' 효과가 발견되었다. 이는 모델이 개방된 문제에 대해도 좁은 범위의 동질화된 합의에 수렴하는 데로 이어졌다. 이는 의미의 붕괴로 인해 AI의 다양성을 제한하며, 높은 온도 샘플링 하에서도 높은 응답 간 유사도($\approx 0.80-0.90$)가 발생한다. 본 논문에서는 다양성을 증가시키기 위한 새로운 대안을 제안한다: 메타-인격 고정점과 필터드 온도 스케일링(FTS)을 combination한 framework. 이 방법은 두 단계의 생성 과정으로 구성된다: 첫 번째 단계에서 모델은 고유하고 독특한 인격을 고르도록 자가 선택을 유도하고, 두 번째 단계에서는 두 단계의 샘플링 시트를 사용하여, 상위-$p$ 필터링을 사용하여 문법적 유효성을 보존하고, 살아남은 후보에 대해 극단적인 온도 스케일링($T \ge 4.0$)을 적용하여 확장된 확률 분포를 탐색한다. 우리는 INFINITY-CHAT 데이터 세트를 사용하여 $\sim$20B 매개변수를 갖는 state-of-the-art open weight 모델에 대해 본 방법을 평가한다. 결과는 의미의 수렴이 감소하는 것으로 나타났으며, 평균 pair-wise 코사인 유사도가 ($\approx 0.85$)에서 ($\approx 0.65$)로 떨어진다. 또한, 본 scheme은 대부분의 문제가 0.7 threshold 이하로 떨어지는 것으로 나타났으며, 이는 인공 모드 붕괴와 인간 수준의 타입학적 다양성을 줄이는 효과를 나타낸다. 본 연구의 implementation은 open-source framework로 제공되며, 더 다양한 및 창의적인 AI 배포를 허용한다.