LLM의 사고는 잠재적이지, 사고의 연쇄가 아니다

이 논문은 대규모 언어 모델(LLM)의 사고를 연구할 때, 잠재 상태의 궤도 형성보다는 체면의 사고 연쇄(CoT)으로 보지 말아야 한다는 주장을 제기한다. 이러한 주장은 신뢰성, 해석 가능성, 사고 벤치마크, 추론 시간 중재 등에 영향을 미친다.

이러한 주장을 뒷받침하기 위해, 저자는 세 가지 가설을 제시한다.

• H1: 사고는 주로 잠재 상태의 궤도 형성에 의해 매개된다.
• H2: 사고는 주로 체면의 사고 연쇄(CoT)로 매개된다.
• H0: 가장 명백한 사고 향상은 일반적인 시리얼 컴퓨트에 의해 설명되는 것보다 어떤 특수한 대표적 객체에 의해 설명되는 것보다 더 잘 설명된다.

저자는 최근의 실험적, 기계적, 설문 연구를 이 프레임워크에 재조직하고, 표면 추적, 잠재 중재, 매칭 예산 확장 등이 포함된 컴퓨트-audited 작업 예시를 추가하여, 현재 증거가 H1을 기본적인 가설로 지지한다고 결론지었다.

따라서 저자는 두 가지 권고안을 제시한다.

• 대규모 언어 모델(LLM)의 사고를 연구할 때, 잠재 상태의 궤도 형성에 대한 기본적인 객체로 다루어야 한다.
• 사고를 평가할 때, 표면 추적, 잠재 상태, 시리얼 컴퓨트를 분리하는 설계를 사용해야 한다.