CreativityBench : Affordance-Based Tool Repurposing를 통해 에이전트 Creative Reasoning을 평가하기

인공지능의 창의력 연구

최근 대규모 언어 모델의 발전은 추론 및 환경 상호작용과 같은 작업에서 좋은 성능을 나타냈지만, 창의적 문제 해결 능력은 여전히 연구되지 않은 상태이다. 따라서, 이 연구는 창의적 도구 사용을 통해 이 능력을 연구한다. 여기서 모델은 지식 기반에 있는 사물의 기능 및 특성에 대하여 논리적으로 사고하며, 일반적인 사용을 의존하지 않고 사물의 새로운 용도를 사용한다.

이 연구의 첫 번째 단계로, 창의성 평가 기준을 도입한다. 이를 위해 대규모 기능 지식 기반을 구축하며, 이 지식 기반을 사용하여 기반된 작업을 생성한다. 이 작업은 제약 조건 하에서 물리적으로 가능하지만 정의되지 않은 해결책을 식별하는 것을 요구한다.

평가 결과

10개의 최신 모델을 포함하여 평가를 수행한 결과, 모델은 종종 합리적인 사물을 선택할 수 있지만, 올바른 부분, 기능 및 물리적 메커니즘을 식별할 수 없어서 성능이 크게 떨어진다. 또한, 모델 크기 향상에서 성능 향상은 빠르게 포화되며, 강력한 일반 추론은 창의적 기능 발견에 신뢰할 수 없으며, 생각의 연쇄와 같은 추론 시간 전략은 제한된 이익을 제공한다.

이러한 결과는 현재 모델에서 창의적 도구 사용이 큰 도전임을 나타내며, 이 시험은 계획 및 추론 모듈을 포함한 미래 에이전트에 대한 이 미완성된 지능의 연구를 위한 유용한 시험베드로 제공한다.