Merge branch 'master' of http://khuhub.khu.ac.kr/2020-2-capstone-design2/2016103262

-## 상관계수 정규화와 동적 필터 가지치기를 이용한 심층 신경망 압축
+# 상관계수 정규화와 동적 필터 가지치기를 이용한 심층 신경망 압축
 Dynamic Filter Pruning with Decorrelation Regularization for Compression of Deep Neural Network
 > 2020 한국소프트웨어종합학술대회 (KSC2020) 학부생논문 경진대회 출품작
 
-### Prerequisites
+## Prerequisites
 
 * Ubuntu 18.04
 * Python 3.7.4
@@ -10,15 +10,14 @@ Dynamic Filter Pruning with Decorrelation Regularization for Compression of Deep
 * numpy 1.18.1
 * GPU (cuda)
 
-### Build
-
+## Build
 ```
 $ python modeling.py --prune_type structured --prune_rate 0.6 --reg reg_cov --odecay 0.7 > result.txt
 ```
 * `run.sh`에서 parameter 조절 후 `./run.sh`로 진행
 
-### Process
-**0. Data, Model & Parameters**
+## Process
+### 0. Data, Model & Parameters
 - Data : CIFAR-10
 - Model : ResNet-50
 - Optimizer : Stochastic Gradient Descent
@@ -28,8 +27,7 @@ $ python modeling.py --prune_type structured --prune_rate 0.6 --reg reg_cov --od
 - Loss Function : Cross Entropy
 - Metric : Accuracy, Sparsity
 
-**1. 동적 필터 가지치기 (Dynamic Filter Pruning)**
-
+### 1. 동적 필터 가지치기 (Dynamic Filter Pruning)
 L1 norm 크기를 기반으로 필터 마스크를 생성하여 가중치 학습 시 반영
 - 필터 마스크 : ![image](https://user-images.githubusercontent.com/41580746/102396051-41616d80-401f-11eb-9738-7b5df9aee0d4.png)
    - i : 층 위치
@@ -41,20 +39,21 @@ L1 norm 크기를 기반으로 필터 마스크를 생성하여 가중치 학습
    - g : 기울기
    - γ : learning rate
 
-**2. 상관계수 정규화 (Decorrleation Regularization)**
-
+### 2. 상관계수 정규화 (Decorrleation Regularization)
 기존 loss function에 상관계수 정규화 식을 더하여 최종 손실 함수 계산
 - loss function : ![image](https://user-images.githubusercontent.com/41580746/102396482-d82e2a00-401f-11eb-93b3-7db5fea8f8af.png)
    - α : 정규화 상수
    - ![image](https://user-images.githubusercontent.com/41580746/102396603-01e75100-4020-11eb-933e-f85305dd874d.png)
 
-### Result
+## Result
 가지치기 비율 60%, 정규화 상수 0.7일 때의 모델별 Accuracy 및 Sparsity 비교 결과
 - ![image](https://user-images.githubusercontent.com/41580746/102395542-a072b280-401e-11eb-9e47-c3b52d859479.png)
 - ![image](https://user-images.githubusercontent.com/41580746/102396706-28a58780-4020-11eb-9ebb-6cc723b4fcbf.png)
 - 기존 동적 필터 가지치기 대비 Accuracy 1.47%, Sparsity 1.08% 증가
 
-### References
+---
+
+_References_
 - [1] Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Deep learning. Nature 521, 436-444, 2015.
 - [2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jain Sun. Deep Residual Learning for Image Recognition. 2015.
 - [3] 조인천, 배성호. 동적 필터 프루닝 기법을 이용한 심층 신경망 압축. 한국방송미디어공학회 하계학술대회, 2020.