오픈 소스 실리콘 테이프아웃에서 끝까지 회로 벤치마크: SGAnalog

현재 존재하는 아날로그 통합 회로 설계 벤치마크는 다음 두 가지 질문에 답하기 어렵습니다: 모델이 전이 가능한 회로 기술을 배웠는지 또는 익숙한 예를 기억했는지 여부, 그리고 모델의 출력이 정의된 공정과 테스트 조건에서 작동하는지 여부. 우리는 인간이 설계한, 오픈 소스 회로와 Tiny Tapeout 제조 셔틀과 연관된 벤치마크를 소개합니다. 이 컬렉션에는 273개의 독립적인 최상위 설계가 포함되어 있습니다. 각 소스 파일은 해당 셔틀 제출 시점에 기록된 버전에서 추출되어 고정된 컨테이너화 된 환경에서 처리됩니다. PIPELINE은 각 적격한 스킴 이미지와 SPICE 네트리스트를 동일한 소스 파일에서 추출하여 전기 회로 해석에 정확한 구조적 참조를 제공합니다. 소스 파일의 커밋 날짜는 모델별로 훈련 중단 분석을 지원하며, 저자 테스트 벤치가 설계 크기 조정을 위한 시뮬레이션 환경을 제공합니다. 이 벤치마크는 스킴-네트리스트 전사와 장치 크기 조정에 대한 평가를 수행합니다. 7개의 모델이 고정된 66개의 전사 작업의 세트에서 수행된 평가 결과, 가장 강력한 모델은 56.1%의 정확한 그래프 이소모르피즘을 달성하고, 7개의 모델 중 6개가 작은 크기에서 중간 크기로 급격히 떨어집니다. 한 모델에서 저자 선택한 레이블을 제거하면 정확한 일치가 줄어들지만 Aggregate Structural F1가 유지되는 것을 보았습니다. 이는 레이블이 연결성 추적을 도울 수 있음을 시사합니다. 17개의 크기 조정 작업에서 가장 강력한 모델은 모든 17개의 제안에 수렴하여 100에 대한 91.2를 달성합니다. 반면 Claude 모델 2개는 동일한 입력에 대해 문제를 제기하지 않고도 4개와 11개의 제안을 거부합니다. 크기 조정과 전사 작업은 다른 모델 순위를 노출하고, 하나의 모델에서 정책보다 기술적 한계가 있는지 여부를 확인합니다.