논리적 추론에서 진실을 찾기: LLM 경로를 조정하기 위한 동적 편집 프레임워크

현재 대규모 언어 모델(LLM)의 논리적 추론을 향상시키기 위한 접근 방식, 예를 들어 Chain-of-Thought와 "Wait" 지시어는 모델이 더 많이 생각하도록 유도하지만 종종 진실로 가도록 안내하지 못한다. Representation Editing(RepE)는 내재된 제어를 제공하지만 동적 추론 경로에 대한 응용은 아직 미흡하다. 이 연구에서는 추론 경로가 펼쳐질 때 진리의 기하학을 조사하여 이 격차를 보충한다. 세 가지 중요한 발견을 밝혔다: (1) 진리는 문장 단위에서 인코딩되어 있으며 잠재적인 추론 패턴과 얽혀 있다; (2) 효과적인 개입은 불확실성 원리와 감소 효과를 따르며 초기, 높은 엔트로피 분기를 지역화해야 한다; (3) 단순한 조종 벡터는 노이즈로 인해 피해를 입어 올바른 경로에 대한 부작용을 일으킬 위험이 있다. 이러한 발견에 기반하여, 우리는 동적 RepE framework인 DynaSteer를 제안한다. DynaSteer는 추론 매니폴드를 분리하기 위해 패턴 클러스터링을 사용하고 Fisher-LDA를 통해 순수한 진리를 투영한다. lookahead 엔트로피를 동적으로 모니터링하여 필요할 때만 경로를 조종하고 되돌리기만 한다. 여러 MATH benchmark에서 광범위한 실험 결과는 DynaSteer의 효과성을 검증하고, 외부 도메인 코드 작업에서 일반화 가능성을 확인한다. 우리의 코드는 https://github.com/tianlwang/DynaSteer에서 공개되어 있다.