인맥 내 검색이 도움이 될 때 : 반사 주도적인 사유의 샘플링 복잡도 이론

대규모 언어 모델(LLM)들을 확장된 논리 추론을 통해 훈련하면, 모델이 순차적으로 해결책 시도들을 생성, 비판, 수정할 수 있는 인컨텍스트 탐색(in-context search) 방식을 사용할 수 있다. 인컨텍스트 탐색을 근사적 추론으로 모델링하고, 기초 모델이 사전 분포를 정의하고, 자기 반영(self-reflection)이 후속 업데이트를 위한 피드백을 제공하는 것을 분석한다. 또한, 결과 추론 시간 샘플링 복잡성을 연구한다 - 높은 성공 가능성을 달성하기 위해 순차적으로 필요한 시도 횟수이다. 자기 반영이 초기 실수를 신뢰할 수 있을 때, 인컨텍스트 탐색은 기초 모델보다 지수적으로 향상할 수 있으며, 지수적으로 작은 초보적인 통과율을 가진 문제들을, 다항식 수의 순차적 시도만으로 해결할 수 있다. 반면, 이 속성이 실패할 때, 과거 시도의 조건을 취급하는 것은 병렬 샘플링과 비례하는 비례적인 이익을 제공하지 않는다. 또한, 이러한 이익은 강건하며 학습할 수 있다: 근사 후속 분포 업데이트가 충분하다면, 탐색 롤아웃에 대한 크로스 엔트로피 훈련은 다항식 샘플 복잡도로 원하는 행동을 회복할 수 있다. 마지막으로, 강화 학습에 대한 분명한 보상에서, 최적 정책 확장은 같은 후속 재분배 규칙을 implement한다. 이론의 주요 질적 예측을 실용적인 대규모 논리 모델에 대한 검증에 대해 보여준다.