연구실에서 다른 실험을 계속 진행하느라 얼굴 인식을 손 놓게 되어 작성을 중단했었는데 천천히라도 다시 작성해보겠습니다. 다소 설명하는 퀄리티가 떨어져도 이해해주시면 감사하겠습니다.

지난 글들까지는 얼굴인식 설명, python 설치, cuda, cudnn 설치 등까지 진행한 것 같네요.

다음으로 python 편집 프로그램을 설치하도록 하겠습니다.

둘 중 하나로 정하시면 되는데 1개는 PyCharm이고 하나는 Visual Studio Code 입니다.

Pycharm 설치

Pycharm이란? JetBrain에서 만든 전문 개발자용 Python IDE

https://www.jetbrains.com/ko-kr/pycharm/download/#section=windows

위 주소로 방문하여 설치하시면 됩니다.

둘 중 학생이라면 Professional(리눅스 서버로 원격 파이썬 실행 가능) 일반인이라면 Community를 설치해주세요.

Visual Studio Code

https://code.visualstudio.com/

python 외에도 다양한 언어를 편집할 수 있고 또 원격 리눅스 서버도 사용 가능합니다.

PyCharm과 VSC(Visual Studio Code)는 하나의 편집기이자 디버깅 툴입니다. 초심자들이라면 메모장이나 atom, notepad++ 이런 프로그램 쓰지말고 무조건 사용하시길 바랍니다.

저는 Ubuntu OS, Python(Anaconda3 가상환경), Pycharm을 이용하여 앞으로의 설명을 진행하겠습니다.

Ubuntu 18.04 → OS

Python(Anaconda3) → 3.7 혹은 3.8

필요 python 패키지들(pip install numpy, pip install opencv-python 등등 입력하여 설치)

• numpy
• matplotlib
• pillow
• opencv-python
• opencv-contrib-python
• torch
• torchvision
• pandas
• sklearn
• scikit-image
• PyQt5
• 위 항목 외에 import 오류가 뜨면 pip install (오류가 뜬 패키지이름) 을 치면 해결 될 겁니다.

Pycharm → 코드 편집 →원격 리눅스 서버로 코드 전달 및 실행 → 결과 return 및 디버깅

putty → 원격 리눅스 서버 터미널 작업용

winscp → 원격 리눅스 서버 파일 주고 받기용

위 정도만 사용할 줄 알면 됩니다.

얼굴 인식에 대한 간단한 Framework

얼굴 인식은

1. 이미지 입력(opencv, pillow, scikit-image 등)
2. 입력 이미지 Transform(일반적으로 Normalize정도만)
3. 얼굴 검출(torch [GPU])
4. 얼굴 검출 영역 Crop
5. Crop한 얼굴 이미지 Normalize
6. 얼굴 특징 추출 네트워크(torch [GPU])
7. 얼굴 특징 벡터 추출(일반적으로 (B,N) 모양으로 출력된다)
   여기서 B는 Batch Size(입력 얼굴 개수), N은 얼굴을 나타내는 특징 개수
8. 추출한 특징 벡터와 기존 저장되어 있던 사람들의 특징 벡터를 전부 다 거리 계산
   여기서 거리 계산에는 Euclidean distance와 cosine similarity가 있다. %로 보고 싶으면 cosine similarity의 범위가 -1~1로 나타나기 때문에 더 적합

영어로 나타내면

1. Input Image
2. Image Transform
3. Face Detect using detector(usually YOLO face detector, mtcnn)
4. Crop with face detector result(x, y, w, h)
5. Normalize Cropped Face image
6. Input to Face Recognition Network
7. Get face feature vector from the network
8. Compare probe& gallery feature vectors by using distance metrics(Euclidean distance or cosine similarity)

입니다.

제가 글을 쓰기 전까지 좀 더 찾아보고 싶으면 영어로 친 내용들을 구글링 해보면 쉽게 도움 받을 수 있습니다.

깃허브에도 많은 자료들이 올라와 있으니 한 번 찾아보세요~!

그럼 다음에 또 글 올리겠습니다.

Intro

안녕하세요 빵꾸아빠입니다.

다른 실험을 진행하고 있어 너무 손을 놓고 있었지만 계속해서 작성해보겠습니다.

Linux로 서버 세팅을 하실 분들은 제 github 주소로 들어가시면 linux-manual이라는 repository에 자세하게 설명이 되어 있으니 참고해서 진행하시면 됩니다.(연구실의 선배님께서 예전에 빠른 서버세팅을 위해 만든 매뉴얼입니다.)

Python 준비

Python은 Linux의 경우 기본적으로 2.7버전과 3.x 버전이 깔려 있고 이를 System python이라고 합니다.

System python에 이것저것 패키지를 깔다가 잘 못 깔거나 지워버리는 경우가 있습니다. 그렇게 될 경우 패키지 구성이 꼬이고 오류가 발생하는 경우가 간혹 있을 수 있어 망하면 깔끔하게 지우고 새로 설치할 수 있는 가상환경 형태의 python을 설치하는 것을 추천합니다.

Anaconda3

https://www.anaconda.com/

위 링크로 들어가서

잘 찾아가서 들어가면

이런식으로 다운받는 링크들이 있습니다.

python3.7에 해당하는 최신 버전으로 설치해주시면 됩니다.

• 윈도우의 경우에는 설치 완료되면 anaconda3 프롬포트인가 하는 파일이 생기는 데 거기서 가상환경 관리를 진행하면 됩니다.
• 리눅스의 경우에는 여기 주소에 나온대로 따라해 주세요. https://github.com/wh-y-j-lee/linux_manual/blob/master/52-anaconda3_setup/anaconda3_setup.md

저같은 경우에는 아나콘다를 서버의 /opt/anaconda3 위치에 설치를 해주었습니다.

아나콘다를 설치하고 껐다 키면(윈도우는 anaconda prompt라는 cmd 같이 생긴 프로그램 실행)

conda

~

해서 명령어를 입력할 수 있고

conda create -n py37-tc python==3.7

이런식으로 python3.7에 해당하는 어떤 python 환경을 py37-tc라는 이름으로 만든다라고 명령을 하면

system python이 아닌 깔끔하게 python3.7이 설치 된 환경을 만들 수 있습니다.

가상환경 접근 방법은 conda activate py37-tc, 윈도우는 activate py37-tc라고 치면

위처럼 괄호 안에 py37-tc라는 이름이 나타날 것입니다.

이 상태에서 pip 명령어를 통해 numpy, matplotlib, pillow, scikit-image, torch, torchvision, opencv-python, opencv-contrib-python, PyQt5 등등을 설치해야 하는데 CUDA를 설치한 뒤 설치하는 것으로 넘어가겠습니다.

CUDA, CUDNN

이 프로젝트의 경우 python과 pytorch를 이용할 예정입니다. pytorch를 사용할 경우 CUDA와 CUDNN이 필수로 설치가 되어 있어야 합니다.

현재 CUDA가 11버전까지 나왔는데 안정성을 위해 10.1 버전을 사용하는 것을 추천합니다.

리눅스의 경우 마찬가지로 제 깃허브에 linux-manual을 참고하시면 편하게 설치할 수 있습니다.

윈도우는 제가 기억이 잘 안나는데 cuda 설치하고 cudnn 압축풀어서 폴더 복사하고 최종적으로 시스템 환경변수에 cuda 위치 추가해줬던 것으로 기억납니다.

Intro

안녕하세요 빵꾸아빠입니다.

지난 글을 시작으로 제가 이미 제작해 본 딥러닝을 활용한 얼굴 인식 프로젝트와 데모를 통한 시연 프로그래밍을 다시 한번 정리하면서 진행하려고 합니다.

이 프로젝트를 진행하기 위해서는 파이썬 프로그래밍 언어에 대한 기본적인 지식이 있어야 되고 딥러닝에 대해 자세한 설명을 하지 않으므로 구글에 모두의 딥러닝이라고 검색하시면 좋은 무료 강의 들이 많으니 2~4주 정도 기초 지식이나 기술을 배워 오시면 프로젝트를 따라 진행하는 데 있어 많은 도움이 될 것입니다.

얼굴 인식

이 프로젝트는 딥러닝으로 학습한 얼굴 인식 네트워크를 실제로 어떻게 활용하는지 따라 하거나 학습할 수 있도록 정리할 예정입니다.

Computer Vision 분야에서 얼굴 인식은 크게 2가지의 Task로 나눠지는데 하나는 Verification, 다른 하나는 Identification이라고 합니다.

인식을 하려면 우선 데이터, 즉 우리가 비교하고자 하는 사람의 얼굴이 있어야 합니다. 보통 인식을 하고자 하는 얼굴을 Probe라고 부르며 비교할 대상들을 Gallery라고 합니다. Probe와 Gallery를 어떻게 비교할 지에 따라 task가 구분됩니다.

Gallery에는 각 사람별로 ID(또는 class)가 있고 각 ID별로 여러 장의 얼굴 사진들이 저장되어 있을 것입니다.

Verification은 Probe(입력이라고 생각하시면 됩니다.)로 들어온 얼굴 사진과 Gallery의 한 ID의 한 장의 얼굴 사진과 어떠한 얼굴의 값을 나타내는 벡터 값의 차이를 계산하여 Probe가 Gallery의 ID와 동일하냐 아니냐를 판단하는 task입니다.

Identification은 Probe로 들어온 얼굴 사진이 Gallery의 모든 ID의 모든 얼굴 사진과 얼굴의 값을 나타내는 벡터 값을 비교했을 때 가장 차이가 적은 ID를 Gallery에서 찾아내는 task입니다.

쉽게 설명하자면 A라는 사람의 얼굴이 새로 입력으로 들어왔을 때 Verification은 A가 맞냐 아니냐를 맞추는 것이고, Identification은 A부터 Z까지의 사람들 중에 이 사람이 A라는 것을 맞추는 것입니다.

딥러닝

우리가 현재 흔히 말하고 있는 인공지능 기술은 딥러닝을 통해 학습한 네트워크의 결과물을 가지고 분석하여 여러 분야에 활용하고 있는 기술을 말합니다.

딥러닝 또한 머신러닝의 일부이며 머신러닝은 과거 오래전부터 계속 연구되어 왔습니다. 그래픽카드의 발전으로 딥러닝 네트워크라고 부르는 deep neural network를 효과적이며 빠르게 학습할 수 있게 되었습니다.

현재 2020년에는 python이라는 언어를 통해 코딩의 장벽이 매우 낮아져 쉽게 자신만의 딥러닝 네트워크를 만들어 볼 수 있습니다.

얼굴인식+딥러닝

이 프로젝트의 목적은 얼굴인식을 딥러닝을 통해 진행하고 그것을 화면으로 보여줄 수 있는 데모까지 만드는 것입니다.

프로젝트는 크게 데이터 준비, 딥러닝 모델 준비, 학습 및 테스트 준비, 데모 프로그램 개발의 단계로 구분이 됩니다.

데이터 준비

딥러닝은 대용량의 데이터를 통해 원하는 task를 할 수 있도록 딥러닝 네트워크의 값을 계속해서 수정해가며 학습하는 것을 말합니다.

그렇다면 딥러닝을 활용하고 싶다면 먼저 대용량의 데이터가 있는지 먼저 조사를 해봐야 합니다.

1) 학습용 데이터셋

얼굴의 경우 매우 다양한 데이터셋이 존재하는데 저는 학습용으로 VGGFace2라는 데이터를 이용할 예정입니다.

아마 검색을 해보시면 무료로 다운이 가능할 텐데 대략 9000명 이상의 사람이 있고 300만 장 정도의 얼굴 사진이 저장되어 있습니다.

2) 테스트용 데이터셋

딥러닝을 통해 학습을 하면 네트워크가 학습용 데이터셋만 잘 맞추는 오버 피팅이라는 문제가 생길 수 있습니다. 따라서 주기적으로 테스트용 데이터셋을 이용해 우리의 네트워크가 학습이 잘 진행되고 있는지 확인할 필요성이 있습니다.

일반적으로 LFW라는 데이터셋을 많이 사용하니 LFW Dataset을 준비하도록 하겠습니다.

딥러닝 모델(NEURAL NETWORK) 준비

저는 얼굴 인식을 위해서 경량화니 성능이 더 좋다니 하는 네트워크들을 준비해서 사용했지만 여기서는 ResNet이라는 네트워크를 사용할 예정입니다. python에서 사용 가능한 딥러닝용 패키지들에는 몇 가지 기본적인 네트워크를 쉽게 사용할 수 있도록 제공해주는 데 ResNet이 바로 그 기본적인 네트워크입니다.

학습 환경 준비

1) CPU

인텔 CPU 추천(AMD CPU보다 인텔 CPU가 그래픽카드를 사용하지 않는 수학 연산이 훨씬 빠르다고 들었습니다)

2) GPU

NVIDIA 그래픽 카드만 사용, CUDA 지원 여부 확인해야 하며 최소 GRAM 4GB 이상은 되어야 학습이 가능합니다.

Batch Size라고 한 번에 몇 장의 이미지를 학습하는 지에 대한 크기와 우리가 학습하려는 딥러닝 모델의 구조에 따라 그래픽 카드 메모리 사용량이 변하게 됩니다.

실제 테스트를 위한 그래픽카드 메모리는 2GB~4GB 사이라 NVIDIA 9XX대 그래픽카드들로도 충분히 데모프로그램을 만들 수 있습니다.

하지만 그래픽카드 메모리가 적으면 학습이 불가능할 수도 있으니 추천은 6GB 이상을 추천 합니다.

3) 저장장치(SSD, HDD)

딥러닝 좀 해보신 분들 중에 의외로 모르는 분들이 많은데 학습 시간이 좀 길다고 느껴지는 분들은 한 번 확인해봐야 하는 부분입니다.

요약 정리를 해드리자면 학습에 사용할 DB는 SSD, 학습한 모델이나 중간중간 테스트 로그 등을 저장할 곳은 HDD 이렇게 나눠서 저장하시면 좀 더 빠르게 학습이 가능합니다.

학습은 저장장치 공간 => 시스템 메모리 => GPU 메모리 이런식으로 학습에 사용할 이미지들을 불러오면서 진행됩니다. 우리는 300만장이라는 이미지를 GPU 메모리에 한 번에 올릴만큼 GPU 메모리가 큰 것이 아니므로 Batch라는 방식으로 32장, 64장, 128장 등 (대부분 2의의 n제곱)의 형태로 데이터를 불러와 학습하는 것을 반복하게 됩니다.

이 과정에서 이미지를 불러오는 시간이 은근히 오래 걸리는데 DB 위치를 HDD에 저장하고 사용하다가 SSD에 저장하는 것으로 바꿔보면 2배 이상 빨라진 것을 체감하실 수 있을 것입니다.

4) 메모리

메모리 크기는 8GB만 넘으면 충분합니다.

5) OS

개인 서버를 만들 수 있다면 서버는 Linux를 추천합니다.

만약 그게 힘들고 집에 있는 컴퓨터로 딥러닝을 개발하고 싶으면 Window 그대로 사용해도 됩니다.

Mac은 제가 사용 안해봐서 잘 모르겠습니다.

저는 연구실에 서버가 있어 서버는 Linux로 되어 있고 코드 작성이랑 실행 등은 윈도우에서 진행합니다.

Introduction

안녕하세요 빵꾸아빠입니다.

딥러닝을 이용한 얼굴 인식 프로젝트를 진행하고 최종적으로 데모까지 만드는 과정을 글로 공유하고자 합니다.

사용하는 프로그래밍 언어는 Python을 사용하고 가상환경을 위하여 Anaconda3를 설치하여 Pycharm과 Linux를 통한 개발환경에서 프로젝트를 진행합니다.

준비물

코드 편집기(선택)

• Visual Studio Code(추천) : 무료
• Atom(잘 몰라요) : 무료
• Pycharm(추천) : 학생은 무료

가상환경

• Anaconda3 : 무조건 최신버전

서버 세팅

• 서버 세팅은 연구실 선배가 작성해주신 https://github.com/wh-y-j-lee/linux_manual 를 참고해서 진행

서버 원격 접속 세팅

• 추후 추가 예정
• Pycharm : 원격 접속
• Putty : 원격 접속
• Putty - tmux 세팅