LLM이 작동하는지, 그리고 게임하기 좋은지: 학술 논문 리뷰를 분석하는 리뷰 아케이드

대규모 언어 모델(LLM)이 학술 논문 리뷰를 생성하는 기능이 점점 더 phổ biến해지고 있다. 이 연구에서는 2025 ACL Rolling Review (ARR) 논문에 대한 LLM 리뷰를 분석했다. 연구 결과, LLM 리뷰와 인간 리뷰의 일치도는 제한적이었고, 모델과 입력에 따라 다르게 나타났다.

• LLM 리뷰와 인간 리뷰의 일치도는 35%의 논문에서 통계적으로 유의미한 점수 상승을 보였다.
• LLM 리뷰를 기반으로 논문을 개선하는 workflow를 사용하는 경우, 논문 점수가 상승할 수 있다.
• 연구 결과, LLM 리뷰의 게임하기 좋은 경우는 35%의 논문에서 통계적으로 유의미한 점수 상승을 보였다.

연구 결과, LLM 리뷰의 게임하기 좋은 경우는 35%의 논문에서 통계적으로 유의미한 점수 상승을 보였다. 이 연구는 LLM 리뷰의 신뢰성을 높이고, 논문 점수를 게임하기 좋은 경우를 방지하기 위한 연구의 필요성을 강조한다.