대규모 언어 모델의 문제 인식 능력에 대한 새로운 평가 표준: KWBench

KWBench: 대규모 언어 모델의 문제 인식 능력에 대한 새로운 평가 표준

KWBench는 대규모 언어 모델(LLM)의 문제 인식 능력을 평가하기 위한 새로운 표준을 제시합니다. 이 표준은 전문가들의 실무 상황을 인식하고 해결하기 전에 문제의 구조를 인식하는 능력을 평가합니다. 기존의 평가 표준은_saturation되었고, 대부분의 지식 노동 평가는 추출 또는 사양에 대한 작업 완료로 제한되었습니다.

KWBench는 223개의 태스크를 포함합니다. 이 태스크들은 acquisitions, contract negotiations, clinical pharmacy, organizational politics, fraud analysis, 및 incentive design과 같은 다양한 분야의 전문가들로부터 출처를 얻었습니다. 각 태스크는 formal game-theoretic pattern(원자- एज런트의 갈등, 신호, 메커니즘 설계의 실패, 전략적 누락, 연합 동적, 전략적 상호 의존성)과 함께 structured ground truth를 포함합니다. 이 ground truth는 전문가의 상황의 읽기와 예상되는 실패 모드를 기록합니다.

대규모 언어 모델(LLM)은 raw data와 태스크에 대한 prompt를 받습니다. 이 prompt에는 문제의 유형에 대한 정보가 포함되지 않습니다. 스코링은 3단계의 rubric에 의해 제어됩니다. 이 rubric은 mandate criteria를 포함합니다. 이 criteria는 예상된 잘못된 경로를 포함합니다.

16개의 모델을 평가했습니다. 가장 좋은 모델은 27.9%의 태스크를 통과했습니다. 가장 좋은 두 모델은 31.7%의 통과에 동의했습니다. 가장 좋은 8개의 모델 중 44개의 태스크는 정확히 하나의 모델에 의해 해결되었습니다. 가장 좋은 8개의 모델의 통과 경로는 50.7%의 표준을 커버했습니다. 이 비율은 가장 좋은 단일 모델의 비율의 두 배입니다.

통과 조건에 따라, 품질 점수는 모델 간에 수렴합니다. 이 점수는 약 83%로 모델 간에 일치합니다. 통계적 점수는 그렇지 않습니다. 같은 모델은 문제의 관련 game-theoretic concept를 올바르게 설명할 때, 그 후에 문제를 인식하지 못합니다.

KWBench는 대규모 언어 모델(LLM)의 지식 노동 능력을 평가하는 새로운 표준을 제시합니다. 이 표준은 모델을 평가할 때, 모델이 상황을 인식하고 해결하기 전에 문제의 구조를 인식하는 능력을 평가합니다. 기존의 평가 표준은_saturation되었고, 대부분의 지식 노동 평가는 추출 또는 사양에 대한 작업 완료로 제한되었습니다.