MLIR을 위한 스키마로부터 제약된 디코딩을 위한 다언어 일반화 평가 및 벤치마크

modern ML 컴파일러 인프라스트럭처(TensorFlow, JAX/StableHLO, PyTorch Inductor, IREE)에서 기반을 이루는 다중 수준 중간 표현(Multi-Level Intermediate Representation, MLIR)은 코드-LM 훈련 데이터에 극히 적게 나타나지만, 설계 상 MLIR는 확장성이 있다. 새로운 구문(dialect)이 각 응용 분야별로 배포되기 때문에, 구문별로 최적화된 모델이 scale되지 않는다. 각 구문의 Operation Definition Specification(ODS)로부터 기계적으로 유도된 추론 시점의 전제 조건(prior)들이 gradient-based adaptation의 대체품으로 사용될 수 있는지 여부를 물어본다. 첫째, 우리는 MLIR-Spec-150, Linalg-Spec-30, StableHLO-Spec-30, StableHLO-Held-Out-200 총 410 개의 in-scope NL-to-MLIR pair, 25 개의 out-of-grammar stress set, 그리고 hand-authored n=30 functional reference set를 포함한 네 개의 natural-language-to-MLIR benchmark를 릴리스한다. 이들은 Apache-2.0 라이선스와 Gebru datasheets, Croissant 1.0 metadata와 함께 제공된다. 둘째, 우리는 세 개의 layer를 가진 schema-derived constraint stack을 구축한다: op signatures에 대한 CFG(C1), ODS에서 추출한 타입 계층(type lattice)으로부터 타입 도메인(split)(C2), 그리고 SSA-scope validator가 다섯 번의 재시도 reject sampling을 동작시키는 constraint stack(C3). StableHLO로 porting 시 arith+func+memref+linalg에서 새로운 constraint-layer 코드가 필요하지 않았다. 구문들 중 verifier semantics가 구조적 constraint에 의해 지배되는 경우, schema-derived priors가 SmolLM2-1.7B가 15B-34B 코드 LMs를 8-25배의 속도에서 이하하거나 같은 성능을 보여준다. Linalg에서 SmolLM2는 80.0% verify-valid(세드 평균, n=125)를 달성하고 CodeLlama-34B, Granite-Code-34B, StarCoder2-15B를 21-44%의 퍼센트 차이로 이기는데, 이들은 중첩되지 않은 CIs를 가지고 있다. arith+func와 templated parametric StableHLO-Held-Out-200에서, verifier semantics가 속성 값(attribute values) 대신 구조(structure)에 의해 결정되는 경우, 같은 baseline이 SLM을 이기거나 이기거나 한다. 우리는 이러한 경우를 non-win cells로 범위한다. 우리는 benchmarks, decoder, 모든 per-prompt generations, 그리고 reproducibility Docker image를 릴리스한다. 구문(dialect): 구문은 컴파일러가 이해할 수 있는 언어를 정의한다. 구문은 각 응용 분야에 맞게 개발된다. Operation Definition Specification(ODS): Operation Definition Specification은 구문에서 사용하는 연산을 정의하는 스펙이다. SSA-scope validator: SSA-scope validator는 SSA(Single Static Assignment) scope를 검증하는 validator이다. reject sampling: reject sampling은 샘플링을 통해 불확실성을 줄이는 기법이다. reject sampling은 불확실한 데이터에 대한 샘플링을 통해 불확실성을 줄인다. schema-derived constraint stack: schema-derived constraint stack은 schema에서 유도된 constraint stack이다. schema-derived constraint stack은 schema에서 유도된 constraint을 사용하여 constraint stack을 구축한다. schema-derived priors: schema-derived priors는 schema에서 유도된 전제 조건(prior)이다. schema-derived priors는 schema에서 유도된 전제 조건을 사용하여 추론을 수행한다. SmolLM2: SmolLM2는 작은 크기의 대규모 언어 모델(LLM)이다. SmolLM2는 작은 크기와 함께 높은 성능을 제공하는 대규모 언어 모델이다. verifier semantics: verifier semantics는 검증자-semantics이다. verifier semantics는 검증자의 동작을 정의한다. verifier semantics는 구문에 대한 동작을 정의한다. verify-valid: verify-valid는 검증 결과가 유효한지 여부를 나타내는 결과이다. verify-valid는 구문에 대한 검증 결과를 나타낸다. [arXiv:2607.18254v1]