<span style='color:blue'>chain-of-thought 추론을 위한 제한된 감독 학습: 반감 Chain-of-Thought 학습</span>

chain-of-thought 추론의 중요성

대규모 언어 모델(LLM)에서 잠재적인 추론 능력을 활성화하는 효과적인 방법 중 하나는 chain-of-thought 추론입니다. 이 방법은 모델이 복잡한 문제를 해결하는 데 도움이 되지만, 기존의 CoT 방법은 주로 추론 시에 사용되는 추론-chain을 재활용하여 semi-supervised learning signal로 사용하지 않습니다. 따라서, 새로운 접근 방식이 필요합니다.

Semi-supervised Chain-of-Thought Learning

Semi-supervised Chain-of-Thought Learning, 즉 Semi-CoT는 unlabeled question을 사용하여 pseudo reasoning supervision을 생성하고, pseudo-CoT demonstration을 선택하는 entropy gate를 사용합니다. 이 방법은 다음과 같은 과정을 거칩니다. 먼저 unlabeled question에 대해 여러 개의 pseudo-CoT를 생성하고, pseudo-CoT의 answer-level semantic entropy를 계산합니다. 그런 다음 low-entropy reasoning chain을 선택하여 pseudo-CoT demonstration으로 사용합니다. Semi-CoT의 효과는 실험 결과를 통해 입증되었습니다. entropy gate는 high-precision pseudo-CoTs를 선택하여 pseudo-answer precision이 매우 높은 수준에 도달합니다. 또한, Semi-CoT는 일부 벤치마크에서 작은 성능 개선을 제공합니다. 그러나 unlabeled question을 효과적으로 사용하려면 더 강력한 demonstration selection 또는 student training이 필요합니다. 이러한 결과들은 unlabeled question이 reliable pseudo reasoning signals를 제공할 수 있음을 보여줍니다. Semi-CoT의 장점은 대규모 언어 모델(LLM)에서 잠재적인 추론 능력을 활성화하는 데 도움이 된다는 것입니다. 또한, unlabeled question을 사용하여 pseudo reasoning supervision을 생성할 수 있으므로, 기존의 CoT 방법보다 더 효율적인 방법입니다. 그러나, Semi-CoT를 사용하려면 더 강력한 demonstration selection 또는 student training이 필요하므로, 추가적인 연구가 필요합니다.