자율 TPU kernel 최적화 성능 측정 도구: JAXBench

자율 TPU 커널 최적화 성능 측정 도구

최근 구글 클라우드 TPU를 위한 새로운 성능 평가 도구가 제시되었습니다. 이 도구는 인공지능 모델이 생성한 GPU 커널 최적화를 평가하기 위한 도구로, JAXBench라는 이름으로 알려져 있습니다. JAXBench는 50개의 작업을 포함하며, 최적화를 위한 여유를 제공하는 동시에 관련성이 있습니다. 이 성능 평가 도구에는 17개의 실제 기계 학습 연산자와 33개의 검증된 연산자가 포함됩니다.

JAXBench를 사용하여, 모델 크기보다도 TPU에 대한 맞춤화된 환경이 더 중요하다는 것을 발견했습니다. TPU 문서에 대한 조건을 걸어, 샘플당 일치도는 5.8%에서 37.3%로 향상되었고, 48개의 성능 평가를 1.28배의 평균 속도 향상을 통해 해결했습니다. 자동 완성 도구인 Autocomp의 비순차적 탐색 절차는 XLA에 비해 1.36배의 평균 속도 향상을 달성했습니다.

성능 평가 결과와 오픈 소스 기여

또한, Autocomp는 Tokamax의 상위 한계를 회복할 수 있었지만, 특수화된 페이지드 및 지연 주의 연산자에서 뒤처졌습니다. TPU 커널 최적화는 여전히 어려운 문제로, 우리는 JAXBench 성능 평가, 평가 결과, 그리고 기준 결과를 공개하여 오픈 소스 기여를 지원합니다. 이 연구는 대규모 언어 모델과 같은 최신 인공지능 기술의 성능을 향상시키는 데 중요한 역할을 할 것으로 기대됩니다.