대규모 언어 모델의 선형 대수 산술 오류를 드러내는 법과학적 벤치마크: LinAlg-Bench

대규모 언어 모델(LLM)의 선형 대수 산술 오류를 평가하기 위한 새로운 벤치마크인 LinAlg-Bench를 소개합니다. 이 벤치마크는 3x3, 4x4, 5x5 행렬에 대한 10개의 대규모 언어 모델을 평가하고, 9개의 과제 유형과 660개의 SymPy-인증 문제를 포함합니다. 벤치마크는 6,600개의 모델 출력을 평가하고, 1,156개의 오류를 분류하여 LLM의 산술 오류가 무작위적이지 않고 구조적으로 제약된다는 것을 밝혀냈습니다.

벤치마크의 결과

벤치마크의 결과는 대규모 언어 모델의 선형 대수 산술 오류가 구조적으로 제약된다는 것을 보여줍니다. 4x4 행렬에 대한 평가에서, 모델은 계산 오류를 일으키는 대신, 계산을 포기하고, 도구 역할을 연기하거나, 제약 조건에 일치하는 허구를 생성하거나, 구조화된 환상을 생성하는 등 다른 방법으로 결과를 생성합니다. 이 포기-생성 전환은 모든 모델 계층과 아키텍처에서 근본적으로 일반적입니다. 이것은 작업 기억 한계가 지식 결함에 비해 더 중요한 요인이라는 것을 시사합니다.

오류 유형

• 계산 오류: 모델이 계산을 수행하는 동안 발생하는 오류
• 도구 역할 연기: 모델이 계산을 포기하고, 도구 역할을 연기하는 오류
• 제약 조건에 일치하는 허구: 모델이 제약 조건에 일치하는 허구를 생성하는 오류
• 구조화된 환상: 모델이 구조화된 환상을 생성하는 오류

벤치마크의 결과는 대규모 언어 모델의 선형 대수 산술 오류가 구조적으로 제약된다는 것을 보여줍니다. 이 연구는 대규모 언어 모델의 오류를 이해하고, 향상시키기 위한 새로운 방법을 제안합니다.