LLM이 그래프를 읽지 말고 그래프가 생각하라

연구 배경

대규모 언어 모델(LLM)은 최근 협력적 다중 에이전트 사고를 위한 새로운 기회를 제공하고 있습니다.しかし, LLM이 그래프를 읽는 것보다 그래프가 생각하는 것이 더 효과적인지 여부를 조사하는 연구가 필요합니다.

연구 결과

연구진은 4개의 LLM 가족(2-3,000+)을 사용하여 Hanabi라는 협력 카드 게임에서 3,000+의 제어된 시도를 수행했습니다. 연구 결과, 다음과 같은 4 가지 발견을 하였습니다.

• 통합 아키텍처가 BELIEF 그래프가 LLM의 성능을 향상시키는지 여부를 결정합니다. 그래프를 prompt context로 사용할 때, 강력한 모델에서는QualifiedName이 무의미하며, 약한 모델에서는 2차order Theory of Mind에서만 유용합니다.
• 연구진은 '플래너 대항' 현상을 발견했습니다. LLM은 부분 competence에서 올바른 계획자 추천을 무시합니다. Gemini 모델은 약 0%의 대항을 보였지만, Llama 70B 모델은 약 90%의 대항을 보였습니다.
• 전체 게임 증거는 상호 에이전트 관습이 모든 단일 에이전트 개입보다 성능을 향상시킵니다. BELIEF 그래프의 개별 구성 요소가 결합되어야만 성능 향상을 얻을 수 있습니다.
• 초기 규모 분석 결과, 그래프 깊이가 더 큰 플레이어 수에 따라 성능이 저하됩니다. 얕은 그래프가 가장 높은 비용-혜택 비율을 제공하며, 더 큰 플레이어 수에서는 더 깊은 ToM 그래프가 해를 끌 수 있습니다.