Toggle navigation
Toggle navigation
This project
Loading...
Sign in
2020-2-capstone-design2
/
2016103262
Go to a project
Toggle navigation
Toggle navigation pinning
Projects
Groups
Snippets
Help
Project
Activity
Repository
Pipelines
Graphs
Issues
0
Merge Requests
0
Wiki
Snippets
Network
Create a new issue
Builds
Commits
Issue Boards
Authored by
전희선
2020-12-17 04:42:50 +0900
Browse Files
Options
Browse Files
Download
Email Patches
Plain Diff
Commit
4a18b2a8a371f9ff10a899639614949a702fd60f
4a18b2a8
1 parent
9c9844b6
Update README.md
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
9 additions
and
12 deletions
README.md
README.md
View file @
4a18b2a
#
#
상관계수 정규화와 동적 필터 가지치기를 이용한 심층 신경망 압축
# 상관계수 정규화와 동적 필터 가지치기를 이용한 심층 신경망 압축
Dynamic Filter Pruning with Decorrelation Regularization for Compression of Deep Neural Network
> 2020 한국소프트웨어종합학술대회 (KSC2020) 학부생논문 경진대회 출품작
##
#
Prerequisites
## Prerequisites
*
Ubuntu 18.04
*
Python 3.7.4
...
...
@@ -10,15 +10,14 @@ Dynamic Filter Pruning with Decorrelation Regularization for Compression of Deep
*
numpy 1.18.1
*
GPU (cuda)
### Build
## Build
```
$ python modeling.py --prune_type structured --prune_rate 0.6 --reg reg_cov --odecay 0.7 > result.txt
```
*
`run.sh`
에서 parameter 조절 후
`./run.sh`
로 진행
##
#
Process
**0. Data, Model & Parameters**
## Process
### 0. Data, Model & Parameters
-
Data : CIFAR-10
-
Model : ResNet-50
-
Optimizer : Stochastic Gradient Descent
...
...
@@ -28,8 +27,7 @@ $ python modeling.py --prune_type structured --prune_rate 0.6 --reg reg_cov --od
-
Loss Function : Cross Entropy
-
Metric : Accuracy, Sparsity
**1. 동적 필터 가지치기 (Dynamic Filter Pruning)**
### 1. 동적 필터 가지치기 (Dynamic Filter Pruning)
L1 norm 크기를 기반으로 필터 마스크를 생성하여 가중치 학습 시 반영
-
필터 마스크 : !
[
image
](
https://user-images.githubusercontent.com/41580746/102396051-41616d80-401f-11eb-9738-7b5df9aee0d4.png
)
-
i : 층 위치
...
...
@@ -41,20 +39,19 @@ L1 norm 크기를 기반으로 필터 마스크를 생성하여 가중치 학습
-
g : 기울기
-
γ : learning rate
**2. 상관계수 정규화 (Decorrleation Regularization)**
### 2. 상관계수 정규화 (Decorrleation Regularization)
기존 loss function에 상관계수 정규화 식을 더하여 최종 손실 함수 계산
-
loss function : !
[
image
](
https://user-images.githubusercontent.com/41580746/102396482-d82e2a00-401f-11eb-93b3-7db5fea8f8af.png
)
-
α : 정규화 상수
-
!
[
image
](
https://user-images.githubusercontent.com/41580746/102396603-01e75100-4020-11eb-933e-f85305dd874d.png
)
##
#
Result
## Result
가지치기 비율 60%, 정규화 상수 0.7일 때의 모델별 Accuracy 및 Sparsity 비교 결과
-
!
[
image
](
https://user-images.githubusercontent.com/41580746/102395542-a072b280-401e-11eb-9e47-c3b52d859479.png
)
-
!
[
image
](
https://user-images.githubusercontent.com/41580746/102396706-28a58780-4020-11eb-9ebb-6cc723b4fcbf.png
)
-
기존 동적 필터 가지치기 대비 Accuracy 1.47%, Sparsity 1.08% 증가
### References
_References_
-
[
1
]
Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Deep learning. Nature 521, 436-444, 2015.
-
[
2
]
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jain Sun. Deep Residual Learning for Image Recognition. 2015.
-
[
3
]
조인천, 배성호. 동적 필터 프루닝 기법을 이용한 심층 신경망 압축. 한국방송미디어공학회 하계학술대회, 2020.
...
...
Please
register
or
login
to post a comment