대규모 언어 모델의 상호 작용적인 추론 평가: 실행 가능한 게임을 포함한 계층적 기준점

대규모 언어 모델의 상호 작용적인 추론 평가

대규모 언어 모델(LLM)의 성능 평가에 대한 새로운 프레임워크가 제시되었습니다. 이 프레임워크는 추론을 능동적인 증거 취득과 믿음 갱신으로 다루는 것을 목적으로 합니다. 따라서, LLM은 작업 규칙만을 받으며, 숨겨진 환경에 타겟된 질문을 내보내고, 시간에 따른 부분 관찰을 통합하며, 최종 답을 제출할 때까지 결정해야 합니다. 이 평가 프레임워크는 표준 성공률과 상호 작용 효율성 외에도, 제어된 문맥 변형 시 contextual robustness를 평가하고, counterfactual revision과 necessity judgment을 통해 metacognitive adaptation을 평가합니다. 이 프레임워크는 474개의 실행 가능한 게임을 포함하며, 이 게임들은 5개의 고정 구성 검색 영역에 따라 5개의 난이도 수준에 따라 평가됩니다. 또한, 앞선 LLM들의 광범위한 세트를 평가하여, 이 벤치마크가 매우 구별력이 높으며, 성공률뿐만 아니라 상호 작용 효율성에서도 큰 차이를 드러내는 것을 보여줍니다. 이러한 결과는 LLM의 성능을 더 자세히 평가하고, 향상시키는 데 도움이 될 것입니다.

또한, contextual perturbations는 중간 정도의 하지만 consistant한 하락을 일으키며, counterfactual revision과 necessity judgment은 큰 하락을 일으킵니다. 이러한 결과는 LLM의 성능을 평가하고, 향상시키는 데 중요한 기준이 될 것입니다. 특히, LLM의 상호 작용적인 추론 능력을 평가하는 데 도움이 될 것입니다. 이를 통해, LLM의 성능을 더 자세히 평가하고, 향상시키는 데 기여할 수 있을 것입니다.

이러한 연구 결과는 대규모 언어 모델(LLM)의 성능을 평가하고, 향상시키는 데 중요한 의미를 가집니다. 특히, LLM의 상호 작용적인 추론 능력을 평가하는 데 도움이 될 것입니다. 이를 통해, LLM의 성능을 더 자세히 평가하고, 향상시키는 데 기여할 수 있을 것입니다. 또한, 이러한 연구 결과는 향후 LLM의 개발과 응용에 중요한 기초가 될 것입니다.