README.md 3.54 KB

Raw Blame History Permalink



상관계수 정규화와 동적 필터 가지치기를 이용한 심층 신경망 압축

Dynamic Filter Pruning with Decorrelation Regularization for Compression of Deep Neural Network


2020 한국소프트웨어종합학술대회 (KSC2020) 학부생논문 경진대회 출품작


Prerequisites


Ubuntu 18.04
Python 3.7.4
Pytorch 1.6.0
numpy 1.18.1
GPU (cuda)


Build

$ python modeling.py --prune_type structured --prune_rate 0.6 --reg reg_cov --odecay 0.7 > result.txt


run.sh에서 parameter 조절 후 ./run.sh로 진행


Process

0. Data, Model & Parameters


Data : CIFAR-10
Model : ResNet-50
Optimizer : Stochastic Gradient Descent
Learning Rate : 0.2
Epoch : 300
Batch size : 128
Loss Function : Cross Entropy
Metric : Accuracy, Sparsity


1. 동적 필터 가지치기 (Dynamic Filter Pruning)

L1 norm 크기를 기반으로 필터 마스크를 생성하여 가중치 학습 시 반영


필터 마스크 : 


i : 층 위치
j : 필터 위치
t : epoch 값
W : 필터 가중치 행렬
η : 임계값 (전체 필터 개수 중 가지치기 필터 개수 비율 통해 계산)


가중치 학습 : 


g : 기울기
γ : learning rate


2. 상관계수 정규화 (Decorrleation Regularization)

기존 loss function에 상관계수 정규화 식을 더하여 최종 손실 함수 계산


loss function : 


α : 정규화 상수


Result

가지치기 비율 60%, 정규화 상수 0.7일 때의 모델별 Accuracy 및 Sparsity 비교 결과


기존 동적 필터 가지치기 대비 Accuracy 1.47%, Sparsity 1.08% 증가


References


[1] Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Deep learning. Nature 521, 436-444, 2015.
[2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jain Sun. Deep Residual Learning for Image Recognition. 2015.
[3] 조인천, 배성호. 동적 필터 프루닝 기법을 이용한 심층 신경망 압축. 한국방송미디어공학회 하계학술대회, 2020.
[4] Benoit Jacob. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. 2017.
[5] Tao Lin, Sebastian U. Stich, Luis Barba, Daniil Dmitriev, Martin Jaggi. Dynamic Model Pruning with Feedback. ICLR, 2020.
[6] Namhoon Lee, Thalaiyasingam Ajanthan, Philip HS Torr, SNIP: Single-shot network pruningbased on connection sensitivity. ICLR, 2019.
[7] Hao Li, Asim Kadav, Igor Durdanovic, Hanan Samet, Hans Peter Graf. Pruning Filters For Effiecient ConvNets. ICLR, 2017.
[8] Jian-Hao Luo, Jianxin Wu, Weiyao Lin. ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression. ICCV, 2017.
[9] Song Han, Huizi Mao, William J. Dally. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. ICLR, 2016.
[10] Xiaotian Zhu, Wengang Zhou, Houqiang Li. Improving Deep Neural Network Sparsity through Decorrelation Regularization. IJCAI, 2018.