스텝별 프로세스-보상 가이드된 LLM 미세 조정 기법을 활용한 향상된 RTL 합성

RTL 코드 생성을 위한 디지털 하드웨어 디자인의 자동 생성은 Verilog과 VHDL에서 긴 시각적 사고, 다단계 의존성 및 엄격한 정확성 제약으로 인해 여전히 어려운 문제이다. 우리는 StepPRM-RTL 이라는 새로운 프레임워크를 제시한다. 이 프레임워크는 stepwise trajectory modeling, process-reward modeling (PRM), 및 retrieval-augmented fine-tuning (RAFT)을 결합하여 LLM 기반 RTL 코드 생성의 기능적 정확성과 사고의 신뢰성을 향상시키기 위한 것이다. StepPRM-RTL은 canonical solution에서 stepwise reasoning trajectory를 생성하며, 각 단계에는 rationale과 incremental code modification가 포함된다. Process Reward Model (PRM)은 중간 단계를 평가하여 dense feedback를 제공하여 reinforcement-style updates를 수행한다. Monte Carlo Tree Search (MCTS)는 대안의 사고 경로를 탐색하여 high-quality trajectory를 enrich하는 training dataset를 제공한다. stepwise와 outcome-aware rewards의 통합은 모델이 어떻게 그리고 왜 올바른 RTL을 생성할 것인지를 배우게 하여, 표준 supervised 또는 outcome-based training보다 긴 시각적 사고를 향상시킨다. benchmark Verilog과 VHDL 데이터셋에서 실험적 평가를 통해 StepPRM-RTL은 기능적 정확성과 사고의 신뢰성 지표에서 이전의 최고 방법보다 10% 이상 향상되었다. Ablation studies는 PRM-guided rewards와 stepwise trajectory exploration의 combination이 성능에 중요함을 확인했다. StepPRM-RTL은 RTL 언어에 대한 일반화가 가능하며, high-fidelity, interpretable code generation을 위한 확장 가능한 프레임워크를 제공하여, LLM-assisted hardware design automation의 새로운 표준을 estableshed한다.