LLM 평가를 가속화하는 CoT-aware 코세트 선택

대규모 언어 모델(LLM)의 평가를 위해 필요한 계산 오버헤드가 개발 과정을 지속하는 데 큰 걸림돌이 되고 있다. 코어셋 선택을 통해 평가 속도를 높일 수는 있지만, 현재의 방법들은 대부분 과거 로그 데이터를 대량으로 필요로 하거나(예: 아이템 응답 이론), 표면적인 언어적 편향을 보이며 실제 논리적 사고 공간을 놓치게 된다. 우리는 CoT-Core라는 새로운 코어 질문 선택 프레임워크를 제안한다. CoT-Core는 언어적으로 다른 질문이 동일한 내재적인 논리적 상응성을 공유할 수 있음을 인식하고, 대규모 언어 모델(LLM)을 사용하여 zero-shot Chain-of-Thought(CoT) 논리적 사고 경로를 펼쳐준다. 이러한 경로를 잠재 공간으로 투영하면, 질문들을 내재적 논리적 상응성에 따라 그룹화할 수 있다. GSM8K, MMLU, MMLU-Pro, GPQA와 같은 다양한 실험에서 CoT-Core는 평가 비용을 크게 줄이면서도 고신뢰성의 점수를 추정할 수 있는 것으로 나타났으며, 논리적 사고를 고려한 절삭의 경계 조건을 정의하였다. 또한, 이 절삭의 효과는 실제로 사고의 복잡성에 달려있다고 밝혔다.