해결책보다 생각하기: 큰 추론 모델에서 해로운 과도한 생각 평가

대규모 추론 모델은 더 많은 테스트 시간 컴퓨팅을 통해 명시적인 중간 추론 흔적 생성으로 성능을 향상시킵니다. 하지만, 더 긴 추론이 항상 유리한지 여부는 여전히 충분히 검토되지 않은 상태입니다. 최근 연구 결과에 따르면 추가적인 추론이 모델이 과도하게 생각하는 것을 유도할 수 있음을 보여주지만, 모델이 올바른 답을 찾으면 더 많은 추론이 해법을 개선하거나 오프트랙으로 벗어나는지에 대한 질문이 남아 있습니다.

추론 만족에 기반한 평가 프로토콜

올바른 답을 찾은 후의 동작을 연구하기 위해, 추론 만족에 기반한 접두사-수준 트레이스 평가 프로토콜을 제시합니다. 이 프로토콜은 모델이 올바른 답을 처음으로 생성하기 위해 필요한 최소 추론 비용을 정의합니다. 이로써 우리는 길고 과도한 생각과 해로운 과도한 생각을 구분할 수 있습니다. 해로운 과도한 생각은 이미 올바른 흔적을 불안정하게 하는 추론을 의미합니다. 다양한 모드 벤치마크에서 시작하여, 우리는 많은 인스턴스가 추론 집중형으로 여겨지지만, 놀랍게도 작은 추론 비용만을 요구한다는 것을 발견했습니다. 더 나아가, 첫 번째 올바른 접두사에서 멈추면 표준 추론보다 정확도가 향상되는 것을 발견했습니다. 이는 현재 모델이 추론 능력뿐만 아니라 올바른 시점에 멈추지 못하는 능력의 한계에도 한계가 있다는 것을 의미합니다. 또한 일반적인 효율성 전략인 조기 중단은 길고 과도한 생각을 줄일 수 있지만, 해로운 과도한 생각을 줄이지 못한다는 것을 발견했습니다.