LoRA Rank의 Trade-off를 이해하는 방법: 확산 모델의 미세チュ닝

확산 모델의 미세チュ닝에서 LoRA rank를 선택하는 것은 품질과 계산 비용의 균형을 잡는 것입니다. 본 연구에서는 CIFAR-10 데이터셋을 사용하여 LoRA rank {2, 4, 8, 16, 32}의 효과를 분석하였습니다.

연구 방법

본 연구에서는 다음의 조건을 만족하는 실험을 수행하였습니다.

• 데이터셋: CIFAR-10
• 네트워크 구조: DDPM U-Net
• 학습 설정: 고정된 최적화 설정
• 실험 환경: 로컬 폴더 pytorch-fid 프로토콜
• 실험 범위: LoRA rank {2, 4, 8, 16, 32}

실험 결과

실험 결과는 다음과 같습니다.

• LoRA rank 4가 가장 높은 확산 모델 FID (124.1380)를 나타냈습니다.
• LoRA rank 8이 근접한 결과 (124.2136)를 나타냈습니다.
• LoRA rank가 증가함에 따라 품질이 향상되나, 계산 비용이 증가하는 경향을 나타냈습니다.

결론

본 연구의 결과는 중간 크기의 LoRA rank가 가장 효율적인 것으로 나타났습니다. 따라서, 고정된 학습 비용 하에서 LoRA rank를 선택할 때, 중간 크기의 LoRA rank를 사용하는 것이 권장됩니다.