2020-1-capstone-design1 / PET_Project1

Go to a project
Toggle navigation Toggle navigation pinning
P

PET_Project1

펫페오톡 - 영상처리 기술을 이용한 반려동물 행동 인식 기술 개발 프로젝트 팀(김성주, 김민석, 장수창)

Star
0
HTTP
72d3bf3a modified final report · by 장수창

반려동물 행동 인식 기술 개발

강아지의 위치와 크기를 인식할 수 있는 딥러닝 모델

팀 소개

  • 지도 교수

    • 조진성 교수님

  • 팀원

    • 2015104157 김민석
    • 2017103967 김성주
    • 2015104213 장수창

​

준비 사항

  • 학습

    • tensorflow-android 라이브러리의 최신 버전이 (2020.06.01 기준) 1.13.1입니다.

      따라서 android implementation까지 구현하는 경우에는

      상위 버전과 호환이 되도록 라이브러리를 빌드하거나, 학습 혹은 pb 파일 생성 또한 tensorflow v1.13.1 이하로 진행하셔야 합니다.

     

    • annotation에는 labelImg 툴을 이용하여 xml을 생성하였습니다.

      학습에는 TFrecord 형태로 저장된 파일을 사용합니다.

      데이터 하나의 형식은 {data index, image binary, image width, image height, boxes}이며

      boxes의 형식은 {label1, xmin, ymin, xmax, ymax, label2, xmin, ...}입니다.

      TFRecord 파일 작성은 code/tfrecord_writer.py를 참고하시기 바랍니다.

     

    • tfrecord_writer.py에서 입력으로 받는 txt 파일은

      각 라인마다 {data index, image path, image width, image height, boxes} 형태로 저장되어 있습니다.

      txt 파일 생성은 code/annotation_xml_parser.py를 참고하시기 바랍니다.

     

    • 이 학습에서는 train/eval/test 데이터셋을 구분하여 사용합니다.

      txt 파일에 대한 데이터셋 분리는 code/dataset_splitter.py를 참고하기시 바랍니다.

     

    • annotation_xml_parser.py에서 입력으로 받는 xml 파일은

      labelImg 툴로 생성된 Pascal VOC format XML 파일을 기준으로 합니다.

     

    • 학습을 위해서 anchor 파일이 필요합니다.

      anchor 파일 생성에는 code/yolov3/get_kmeans.py를 참고하시기 바랍니다.

      출력된 anchor를 code/yolov3/args.py의 anchor_path에 맞는 위치에 저장하시면 됩니다.

     

    • 이 학습에서는 pretrained model을 불러와 fine tuning을 이용합니다.

      따라서 pretrained model 파일을 준비해야 합니다.

      pretrained model은 링크에서 다운로드할 수 있습니다.

      이 파일은 darknet weights 파일이므로, tensorflow model로 변환하려면 code/yolov3/convert_weights.py를 참고하시기 바랍니다.

      (git에는 이미 변환된 yolov3.ckpt만이 업로드되어 있습니다. 다른 데이터셋 혹은 다른 용도로 학습을 진행하려면 새로 생성하셔야 합니다.)

     

    • 학습에는 train.py (train/eval dataset)를, 평가에는 eval.py (test dataset)를 사용하시면 됩니다.

      학습에 사용하는 파일의 경로 및 hyper parameter 설정은 args.py를 참고하시기 바랍니다.

      평가에 대한 경로 설정은 eval.py에서 할 수 있습니다.

     

    • data/trained에 임시 테스트용 trained model 파일이 업로드되어 있습니다.

       

  • 안드로이드 적용

    • android implementation을 하는 경우에는 학습된 모델에 대한 pb 파일을 생성해야 합니다.

      code/pb/pbCreator.py를 참고하시기 바랍니다. (code/yolov3/test_single_image.py를 약간 수정한 파일입니다)

     

    • android에서는 freeze된 model만 사용할 수 있습니다.

      code/pb/freeze_pb.py를 참고하시기 바랍니다.

     

    • android_App/assets에 pb file을 저장한 후, DetectorActivity.java에서 YOLO_MODEL_FILE의 값을 알맞게 수정하시면 됩니다.

     

    • 이 학습 코드로 생성된 모델의 input, output node name은

      각각 input_data, {yolov3/yolov3_head/feature_map_1,yolov3/yolov3_head/feature_map_2,yolov3/yolov3_head/feature_map_3} 입니다.

      모델의 node name 참고에는 Netron 프로그램을 사용하였습니다.

 

결과 예시

code/yolov3/test_single_image.py로 생성된 이미지입니다.

비디오 인식은 같은 디렉토리의 video_test.py를 참고하시기 바랍니다.

dog1

예시 1

dog2

예시 2

 

Reference

학습 코드는 링크를 기반으로 작성하였습니다.

변경점은 code/yolov3/changes.txt를 참고하시기 바랍니다.

android 코드는 링크를 기반으로 작성하였습니다.