자기 개선의 한 가지 공식 프레임워크: 반복적인 정책 개선과 재귀적 자기 개선

자기 개선의 재귀적 특성은 이전에 정의되지 않은 새로운 인공지능 프레임워크를 제안합니다. 이 연구는 반복적인 정책 개선과 재귀적 자기 개선을 한 가지 학습 패러다임의 두 가지 사례로 묘사하는 새로운 공식 프레임워크를 제안합니다.

인공지능이 자율적으로 발전하는 방향으로 나아가고 있다면, 재귀적 자기 개선(RSI)은 다양한 규모에서 주목을 받고 있습니다. 그러나 이러한 emerging 인스턴스들을 공식적으로 설명하는 단일 프레임워크는 존재하지 않습니다. 반면, 반복적인 정책 개선의 대조물인 일반화된 정책 반복(GPI)은, 업데이트 원칙과 평가 기준이 agent 외부에 위치할 때만, 광범위한 적용성을 가진다는 점에서 잘 이해된 이론적 속성을 가지고 있습니다.

Generalized Agent Iteration(GAI)

GAI는 반복적인 정책 개선과 RSI를 두 가지 사례로 묘사하는 공식 프레임워크를 제안합니다. GAI는 agent를 시스템 내의 수정 가능한 구성 요소로 정의하고 학습 과정을 agent 평가와 agent 개선 사이의 사이클로 모델링합니다.

두 가지 결정적인 dial은 다음과 같습니다.

• improving mechanism이 agent의 일부인지 여부: GPI와 RSI 사이의 경계를 정의합니다.
• standard이 agent 외부에 기반을 둔지 여부: 시스템의 polarity를 정의합니다.

이 두 축을 사용하여 기존 시스템을 동일한 두 축에 배치하고, RSI의 결함을 단일 조건당으로 정의할 수 있습니다.

이 연구는 RSI의 공식적 특성을 정의하기 위한 첫 번째 단계로 간주되며, classical account에 기초하여, 기존 시스템을 비교할 수 있는 기반이 되며, 새로운 시스템을 분석하고 설계하는 데 필요한 원칙적 근거를 제공합니다.