CUDA 커널을 위한 LLM 기반 생성 및 최적화에 대한 agent 하네스

머신 러닝 모델은 우리가 매일 사용하는 소프트웨어에 점점 더 많이 통합되고 있으며, 그들의 실행 시간은 행렬 곱셈, 합성곱, 정규화와 같은 작은 계산 단위에서 대부분을 차지한다. 이 계산 단위를 최적화하는 것은 지연 시간과 비용을 줄이는 가장 직접적인 방법 중 하나지만, 일반적으로 전문가 엔지니어가 저급 그래픽 처리 장치 코드를 수동으로 작성해야 했다. 대규모 언어 모델 기반의 에이전트 시스템은 이제 훨씬 적은 인간 노동으로 계산 단위를 생성하고 최적화할 수 있다.

그래픽 처리 장치 계산 단위 최적화

대규모 언어 모델 기반의 에이전트 시스템은 그래픽 처리 장치 계산 단위를 생성하고 최적화하는 데에 사용될 수 있다. 그러나 현재 도구들은 대체로 임의로 생성된 배열과 분리된 계산 단위에 대해 평가되고, 개발자가 수동으로 재통합해야 하는 독립된 그래픽 처리 장치 코드를 생성하며, 대다수는 파이토치 모델에만 집중하고, 결과를 검사하고 디버그하는 데에 대한 지원이 제한적이다. 이러한 문제를 해결하기 위해 Kernel Forge라는 개방형 소스, 종단-종단 에이전트 해쉬를 제시할 수 있다. Kernel Forge는 원본이 변경되지 않은 파이토치 모델을 지원하며, 시각, 확산, 대규모 언어 모델 작업을 지원하고, 몬테카를로 트리 탐색을 사용하여 여러 최적화 경로를 탐색한다. 또한, 개발자가 진행 상황을 모니터링하고 후보 계산 단위를 검사하고 실패를 디버그하는 데에 필요한 그래픽 사용자 인터페이스를 제공한다. 이러한 기능으로 인해 Kernel Forge는 그래픽 처리 장치 계산 단위를 효율적으로 생성하고 최적화할 수 있다. Kernel Forge의 성능을 평가하기 위해, 엔비디아 디지털 자이언트 엑스 스파크에 GB10 그래픽 처리 장치를 사용하여, 시각, 확산, 대규모 언어 모델 작업을 지원하는 네 가지 파이토치 모델에 대해 평가할 수 있다. 단 50개의 최적화 반복을 사용하여, Kernel Forge는 파이토치 즉시 실행 모드를 초과하는 14개의 계산 단위를 최적화할 수 있다. 이러한 결과는 Kernel Forge가 그래픽 처리 장치 계산 단위를 생성하고 최적화하는 데에 효과적인 도구임을 보여준다.