LLM 기반 상징적 회귀를위한 프로그래밍 컨텍스트 증진

Programmatic Context Augmentation for LLM-based Symbolic Regression

기호 회귀( Symbolic Regression, SR )는 주어진 데이터셋을 가장 잘 설명하는 수학적 표현식을 발견하는 과제로 과학적 발견의 근본적인 도전 중 하나입니다. 전통적인 접근 방식은 주로 유전 알고리즘과 관련된 진화적 방법에 기반을 두고 있으며 유용하긴 하지만 확장성과 표현력의 한계를 가지고 있습니다. 최근 기호 회귀에 대규모 언어 모델(LLM)-기반 진화적 검색 방법이 소개되었으며 좋은 결과를 보여주고 있습니다. 그러나 기존의 LLM 기반 접근 방식은 주로 평균 제곱 오차와 같은 스칼라 평가 지표를 검색 과정에서 유일한 피드백 소스로 사용하며 데이터셋에 내장된 풍부한 정보를 무시합니다. 이 한계를 해결하기 위해 우리는 프로그램적 문맥 증강을 포함하는 새로운 LLM 기반 진화적 검색 프레임워크를 제안합니다. 코드 기반으로 데이터셋과 상호 작용할 수 있으므로, 우리의 방법은 평가 점수 집계 외에도 데이터 분석을 활성화하고 정보를 추출할 수 있습니다. 우리는 LLM-SRBench와 같은 고급 벤치마크에서 성능을 평가하고 강력한 베이스 라인에 비해 우수한 효율성과 정확도를 보입니다.