Showing
1 changed file
with
29 additions
and
6 deletions
... | @@ -6,17 +6,40 @@ | ... | @@ -6,17 +6,40 @@ |
6 | - 양자화 과정으로 학습된 모델은 pytorch model -> onnx -> tensorRT 변환이 불가능하여 gpu 에서 실행 불가능. | 6 | - 양자화 과정으로 학습된 모델은 pytorch model -> onnx -> tensorRT 변환이 불가능하여 gpu 에서 실행 불가능. |
7 | 7 | ||
8 | ## TensorRT | 8 | ## TensorRT |
9 | +- Google Colab - install_tensorRT | ||
10 | + | ||
9 | - 양자화 학습을 사용하지 않고, 라이브러리를 활용하여 모델의 정밀도 감소 및 양자화 시도. | 11 | - 양자화 학습을 사용하지 않고, 라이브러리를 활용하여 모델의 정밀도 감소 및 양자화 시도. |
10 | 12 | ||
11 | - 모델에 따라 속도 차이가 크고 아래 단계의 정밀도가 더 빠른 경우가 있었음 | 13 | - 모델에 따라 속도 차이가 크고 아래 단계의 정밀도가 더 빠른 경우가 있었음 |
12 | 14 | ||
13 | - 정확한 이해가 필요해 보임 (사용법 미숙, 입력 값은 float 등) | 15 | - 정확한 이해가 필요해 보임 (사용법 미숙, 입력 값은 float 등) |
14 | 16 | ||
15 | - | Inference Time(msec) | Densenet - 32 packet | Ours - 1 packet | | 17 | +<table> |
16 | - | -------------------- | -------------------- | --------------- | | 18 | + <tr align="center"> |
17 | - | Torch - float32 | 19.49 | 0.49 | | 19 | + <td >Inference Time(msec)</td> |
18 | - | TensorRT - float32 | 4.30 | 0.37 | | 20 | + <td >Densenet - 32 packet</td> |
19 | - | TensorRT - float16 | 4.32 | 0.35 | | 21 | + <td >Ours - 1 packet</td> |
20 | - | TensorRT - int8 | 3.70 | 0.41 | | 22 | + </tr> |
23 | + <tr align="center"> | ||
24 | + <td >Torch - float32</td> | ||
25 | + <td >19.49</td> | ||
26 | + <td >0.49</td> | ||
27 | + </tr> | ||
28 | + <tr align="center"> | ||
29 | + <td >TensorRT - float32</td> | ||
30 | + <td >4.30</td> | ||
31 | + <td >0.37</td> | ||
32 | + </tr> | ||
33 | + <tr align="center"> | ||
34 | + <td >TensorRT - float16</td> | ||
35 | + <td >4.32</td> | ||
36 | + <td >0.35</td> | ||
37 | + </tr> | ||
38 | + <tr align="center"> | ||
39 | + <td >TensorRT - int8</td> | ||
40 | + <td >3.70</td> | ||
41 | + <td >0.41</td> | ||
42 | + </tr> | ||
43 | +</table> | ||
21 | 44 | ||
22 | 45 | ||
... | \ No newline at end of file | ... | \ No newline at end of file | ... | ... |
-
Please register or login to post a comment