상관계수 정규화와 동적 필터 가지치기를 이용한 심층 신경망 압축
Dynamic Filter Pruning with Decorrelation Regularization for Compression of Deep Neural Network
2020 한국소프트웨어종합학술대회 (KSC2020) 학부생논문 경진대회 출품작
Prerequisites
- Ubuntu 18.04
- Python 3.7.4
- Pytorch 1.6.0
- numpy 1.18.1
- GPU (cuda)
Build
$ python modeling.py --prune_type structured --prune_rate 0.6 --reg reg_cov --odecay 0.7 > result.txt
-
run.sh에서 parameter 조절 후./run.sh로 진행
Process
0. Data, Model & Parameters
- Data : CIFAR-10
- Model : ResNet-50
- Optimizer : Stochastic Gradient Descent
- Learning Rate : 0.2
- Epoch : 300
- Batch size : 128
- Loss Function : Cross Entropy
- Metric : Accuracy, Sparsity
1. 동적 필터 가지치기 (Dynamic Filter Pruning)
L1 norm 크기를 기반으로 필터 마스크를 생성하여 가중치 학습 시 반영
- 필터 마스크 :
- i : 층 위치
- j : 필터 위치
- t : epoch 값
- W : 필터 가중치 행렬
- η : 임계값 (전체 필터 개수 중 가지치기 필터 개수 비율 통해 계산)
- 가중치 학습 :
- g : 기울기
- γ : learning rate
2. 상관계수 정규화 (Decorrleation Regularization)
기존 loss function에 상관계수 정규화 식을 더하여 최종 손실 함수 계산
- loss function :
- α : 정규화 상수
Result
가지치기 비율 60%, 정규화 상수 0.7일 때의 모델별 Accuracy 및 Sparsity 비교 결과
- 기존 동적 필터 가지치기 대비 Accuracy 1.47%, Sparsity 1.08% 증가
References
- [1] Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Deep learning. Nature 521, 436-444, 2015.
- [2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jain Sun. Deep Residual Learning for Image Recognition. 2015.
- [3] 조인천, 배성호. 동적 필터 프루닝 기법을 이용한 심층 신경망 압축. 한국방송미디어공학회 하계학술대회, 2020.
- [4] Benoit Jacob. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. 2017.
- [5] Tao Lin, Sebastian U. Stich, Luis Barba, Daniil Dmitriev, Martin Jaggi. Dynamic Model Pruning with Feedback. ICLR, 2020.
- [6] Namhoon Lee, Thalaiyasingam Ajanthan, Philip HS Torr, SNIP: Single-shot network pruningbased on connection sensitivity. ICLR, 2019.
- [7] Hao Li, Asim Kadav, Igor Durdanovic, Hanan Samet, Hans Peter Graf. Pruning Filters For Effiecient ConvNets. ICLR, 2017.
- [8] Jian-Hao Luo, Jianxin Wu, Weiyao Lin. ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression. ICCV, 2017.
- [9] Song Han, Huizi Mao, William J. Dally. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. ICLR, 2016.
- [10] Xiaotian Zhu, Wengang Zhou, Houqiang Li. Improving Deep Neural Network Sparsity through Decorrelation Regularization. IJCAI, 2018.