LLM의 하드웨어 성능 추론력: PerfReasoning은 얼마나 잘 작동할까?

대규모언어모델의 하드웨어성능추론력

대규모언어모델은 하드웨어성능추론을 위해 구조화된 추론을 필요로 하지만, 이를 위한 모델을 만드는 것은 매우 어려운 작업입니다. 성능추론벤치마크는 대규모언어모델을 성능추론가와 분석적성능모델코드생성기로 평가하는 새로운 벤치마크입니다. 이 벤치마크는 작업량, 아키텍처, 매핑세부사항을 입력받아 매핑을 비교하고, 외부통신과 버퍼요구사항을 예측합니다. 성능추론벤치마크의 특징은 대규모언어모델을 성능추론가와 분석적성능모델코드생성기로 평가한다는 것입니다. 또한 비공개모델과 공개가중치모델을 지원하며, 작업특정학습과 피드백이없는다회자신수정촉진을 지원합니다. 이러한 기능으로 인해 성능추론벤치마크은 하드웨어디자인과 소프트웨어최적화에 있어서 매우 중요한 역할을 할 수 있습니다.

성능평가

성능추론벤치마크을 사용한 성능평가 결과, 가장 강력한 비공개모델은 90% 이상의 정확도를 달성하고, 가장 좋은 공개가중치모델은 82.4%의 정확도를 달성했습니다. 그러나 모델을 만드는 것은 매우 어려운 작업입니다. GPT-5.6 Sol 모델은 80% 이상의 정확도를 달성했지만, 다른 모든 모델구성은 15% 미만의 정확도를 달성했으며, 실행결과에 따라 크게 차이가 나 있습니다. 작업특정학습은 4B 모델의 매핑추론정확도를 15.7 점 증가시켰지만, 피드백이없는다회자신수정촉진은 신뢰할 수 없는 효과를 나타내었습니다. 성능추론벤치마크은 구조화된 추론과 신뢰할 수 있는 성능모델 생성 사이의 괴리를 드러내며, 재현가능한 평가와 향후 진행을 지원하기 위해 벤치마크를 공개할 것입니다. 이를 통해 하드웨어성능추론과 관련된 연구와 개발이 더욱 발전할 수 있을 것입니다. 성능추론벤치마크의 공개는 대규모언어모델의 성능추론력과 분석적성능모델코드생성 능력을 평가하고 향상시키는 데 중요한 역할을 할 것입니다.