MLLM이 창의적 승차를 해독할 수 있을까? C4를 통해 교차 개념 이해의 새로운 도약

대규모 언어 모델(LLM)의 창의적 능력

대규모 언어 모델(LLM)의 창의적 능력은 다양한 영역에서 중요합니다. 디자인, 커뮤니케이션, 교육, 인간-AI 협업 등에서 창의적 능력이 평가될 수록, 대규모 언어 모델(LLM)의 잠재력이 더 잘 이해될 수 있습니다. 그러나 이러한 능력은 평가하기 어려운 문제입니다. 새로운 평가 프레임워크인 C4를 통해 교차 개념 이해의 새로운 가능성을 열어보았습니다. 대규모 언어 모델(LLM)의 창의적 능력을 평가하기 위한 중요한 개념은 교차 개념 이해입니다. 이는 비직관적인 하지만 의미 있는 개념 관계를 이해하는 능력으로, 대규모 언어 모델(LLM)이 창의적으로 의미를 이해할 수 있는 기초를 제공합니다. C4는 Chengyu(중국 속담)-기반의 교차 개념 창의력을 평가하기 위한 프레임워크로, 대규모 언어 모델(LLM)이 대상 슬롯을 이미지 가능한 대체 개념으로 매핑하는 기능과 교차 개념 네트워크에 기반한 구조화된 데이터 생성을 평가합니다. C4 평가 세트(C4-Eval)는 184개의 합성 아이템과 37개의 인간이 생성한 교차 개념 Chengyu 그림을 포함하는 평가 세트입니다. 이 평가 세트는 온라인 소스에서 수집되었으며, 각 아이템은 5개의 작업 설정에서 평가되었습니다. 실험 결과, 10개의 평가한 대규모 언어 모델(LLM)의 강화된 폐쇄 모델은 높은 정확도를 달성했습니다. 그러나 공개 소스 모델은 상당히 낮은 정확도를 보였습니다. 이 결과는 현재 대규모 언어 모델(LLM)이 창의적으로 매개된 의미를 해독하는 데 있어 교차 개념 관계를 이해하는 데에 큰 차이가 있음을 노출합니다.

결과와 의의

대규모 언어 모델(LLM)의 교차 개념 이해 능력은 향상될 필요가 있습니다. 후보 제약 조건이 정확성을 크게 향상시키지만, 교차 개념 관계를 이해하는 데 도움이 되는 bridging 힌트와 설명 요청은 약한 향상을 제공했습니다. 이러한 결과는 대규모 언어 모델(LLM)의 능력과 한계를 이해하는 데에 중요한 의미를 가지고 있습니다. 또한, 이러한 연구는 대규모 언어 모델(LLM)의 개발과 적용에 새로운 방향을 제시할 수 있습니다. 대규모 언어 모델(LLM)의 교차 개념 이해 능력을 향상시키기 위한 추가적인 연구가 필요합니다.