마스크된 확산 언어 모델에 대한 컴퓨팅 지식에 의한 재마스킹 평가 프로토콜

.masked diffusion 언어 모델(Masked diffusion language models, MDLMs)은 빠르게 발전하고 있지만, 그들의 진전을 신뢰할 수 있는 평가 기준은 따라가지 못하고 있습니다. MDLMs가 자율적인 언어 모델과 경쟁할 수 있게 된 것은 물론, 최근 7개의 remasking 논문은 상응하는 설정 하에 평가를 수행하지 않고, 명목상 단계 수, 지표, 및 샘플링 온도에 대한 변화를 무시한 채로 각 전략의 순위를 결정했습니다. 이로 인해 각 전략의 순위를 비교하는 것은 어려워졌으며, 보고된 이익이 알고리즘 개선인지 평가 오류인지 여부를 밝히지 못했습니다. 우리는 CaRE, compute-aware 평가 framework를 제시합니다. CaRE는 MDLM remasking 전략을 검토하기 위해 실제 함수 평가 횟수(actual number of function evaluations, NFE)를 표준화하고, 다중 지표 보고를 강제하고, 확률성을 명시적으로 제어합니다. CaRE는 LLaDA-8B-Base와 Dream-7B-Base를 4개의 확률성 수준과 3개의 단계 지출에 대해 OpenWebText와 LM1B에서 7개의 remasking 전략을 테스트했습니다. CaRE는 다음과 같은 결과를 나타냅니다: (i) 온도는 MAUVE 변화를 설명한다, (ii) compute-matched 비교는 여러 개의 발표된 전략 순위를 역전시켰으며, (iii) informed remasking과 stochastic unmasking은 상호 배타적이며, high-entropy remasking은 unmask_temp=0.25에서 256 단계에서 MAUVE를 0.296 감소시켰다(p=0.020). CaRE leaderboard는 12개 open-weight MDLM(150M에서 8B 파라미터)를 포함하여, 이 상호 작용 방향이 아키텍처와 크기와 상관없이 유지됩니다. 이 결과는 현재 MDLM 평가가 알고리즘 개선을 감추어진 컴퓨팅 및 확률성의 선택과 혼동하는 경향이 있음을 보여줍니다. 우리는 평가 프로토콜, implementation, 및 leaderboard를 공개하여 향후 remasking 선언이 재현되고 비교할 수 있도록 합니다.