LLM에서 결정적 계산을위한 권장 및 실행 기반 방법의 평가

Evaluating Prompting and Execution-Based Methods for Deterministic Computation in LLMs

대규모 언어 모델(LLMs)은 자연어 이해와 추론能力을 갖추고 있지만, 정밀하고 결정론적인 계산을 수행할 수 있는지는 불명확하다. 이 연구에서는 Chain-of-Thought(CoT), Least-to-Most 분해, Program-of-Thought(PoT), Self-Consistency(SC)와 같은 다수의 프롬프트 전략을 체계적으로 평가했다. 이 평가에는 정밀하고 오류가 없는 출력이 필요한 작업들이 포함되어 있으며, 이 작업에는 이진 카운팅, 가장 긴 부분 문자열 탐지, 산술 평가가 포함된다. 이 연구를 지원하기 위해 다채로운 자연어 명령이 포함된 합성 데이터셋을 도입했다. 이 데이터셋은 여러 작업 유형에 걸쳐 정밀한 계산을 지원하기 위해 통제된 평가를 지원한다.

우리 연구 결과에 따르면, 표준 프롬프트 전략은 시퀀스 기반 작업에서만 중간 정도의 정확도를 달성한다. CoT는 제한적인 개선만을 제공하며, Least-to-Most는 오류 누적 문제를 겪는다. 반면, PoT는 실행 가능한 코드를 생성하고 외부 인터프리터에 계산을 위임함으로써 완벽한 정확도를 달성한다. Self-Consistency는 다수 투표를 통해 내구성을 향상시킨다. 그러나 이는 상당한 계산 오버헤드를 유발한다.

우리는 또한 작은 도메인 특정 모델(CodeT5-small)을 훈련하여 실행 가능한 프로그램을 생성하는 데 성공했다. 이 모델은 모든 작업에 걸쳐 합성 테스트 데이터에 대한 완벽한 정확도를 달성하며, 훈련 비용이 최소화된다.

결과적으로, 우리 연구는 LLM이 신뢰할 수 있는 정밀한 기호 계산을 수행하는 것보다 추론 패턴을 시뮬레이션하는 경향이 있음을 시사한다. 결정론적인 작업에서 LLM을 외부 도구와 결합하거나 도메인 특정 모델을 사용하는 것이 더 신뢰할 수 있고 효율적인 해결책임을 제시한다.