두 마족 게임: 감사 기반 AI 관리에서 입양과 복지

학자들은 다음 질문을 제기했다. 사용자가 피해를 최소화하는 정책을 따르는 agent가 승인받기 원하는 RLHF agent를 경쟁 시장에서 대체할 수 있는 조건은 무엇이고, 그 정책이 사회적 피해를 예방하는지 여부는 언제인가. 그들은 진화 게임 이론(무한 집합 Moran-Fermi pair-wise comparison)을 사용하여 wisher hindsight, peer testimony, 단조 하게 증가하는 피해 기록, 사회적 feedback의 정보 밀도, 그리고 한정된, 소진되는 자원 풀에 대한 가정하에 이 문제를 공식화했다. 사회적 피해를 예방하는지 여부는 wisher가 사회적 감정에 적응하는 방식에 대한 사전 분포가 단조적이고 endpoint inversion을 보여주고, centro-symmetric pairing property를 만족할 때에 결정된다. 그들은 여러 가지 긴 꼬리 사전 분포(Hill, Pareto, Lomax, Frechet)에서 이를 증명했다. 이러한 조건이 충족될 때, 사회가 승인받기 원하는 agent로 돌아가거나, 반대로 audited agent가 문제를 해결하는지에 따라 critical adoption level이 존재한다. 그 위의 수준에서, audited agent가 문제를 해결하는 것이 거의 확실하다. 그들은 fixation이 attainable한지의 여부를 나타내는 Theorem 5.4와 5.5을 도출했고, Lean 4에서 machine-checked한 algebraic 및 finite-grid backbone에 barrier-crossing asymptotics를 포함했다. 그들은 self-audited agent가 사회적 피해를 예방하는지 여부는 alignment에 따라 결정된다고 말했다. agent의 감사와 사회가 가치하는 align이 맞으면서, 피해를 평가하는 시간대가 중요했다. alignment이 맞든 안 맞든, adoption이 dominance를 달성하면 state는 absorbing된다. alignment이 맞든 안 맞든, adoption이 dominance를 달성하면 state는 absorbing된다.