Intro

안녕하세요 빵꾸아빠입니다.

다른 실험을 진행하고 있어 너무 손을 놓고 있었지만 계속해서 작성해보겠습니다.

Linux로 서버 세팅을 하실 분들은 제 github 주소로 들어가시면 linux-manual이라는 repository에 자세하게 설명이 되어 있으니 참고해서 진행하시면 됩니다.(연구실의 선배님께서 예전에 빠른 서버세팅을 위해 만든 매뉴얼입니다.)

Python 준비

Python은 Linux의 경우 기본적으로 2.7버전과 3.x 버전이 깔려 있고 이를 System python이라고 합니다.

System python에 이것저것 패키지를 깔다가 잘 못 깔거나 지워버리는 경우가 있습니다. 그렇게 될 경우 패키지 구성이 꼬이고 오류가 발생하는 경우가 간혹 있을 수 있어 망하면 깔끔하게 지우고 새로 설치할 수 있는 가상환경 형태의 python을 설치하는 것을 추천합니다.

Anaconda3

https://www.anaconda.com/

위 링크로 들어가서

잘 찾아가서 들어가면

이런식으로 다운받는 링크들이 있습니다.

python3.7에 해당하는 최신 버전으로 설치해주시면 됩니다.

• 윈도우의 경우에는 설치 완료되면 anaconda3 프롬포트인가 하는 파일이 생기는 데 거기서 가상환경 관리를 진행하면 됩니다.
• 리눅스의 경우에는 여기 주소에 나온대로 따라해 주세요. https://github.com/wh-y-j-lee/linux_manual/blob/master/52-anaconda3_setup/anaconda3_setup.md

저같은 경우에는 아나콘다를 서버의 /opt/anaconda3 위치에 설치를 해주었습니다.

아나콘다를 설치하고 껐다 키면(윈도우는 anaconda prompt라는 cmd 같이 생긴 프로그램 실행)

conda

~

해서 명령어를 입력할 수 있고

conda create -n py37-tc python==3.7

이런식으로 python3.7에 해당하는 어떤 python 환경을 py37-tc라는 이름으로 만든다라고 명령을 하면

system python이 아닌 깔끔하게 python3.7이 설치 된 환경을 만들 수 있습니다.

가상환경 접근 방법은 conda activate py37-tc, 윈도우는 activate py37-tc라고 치면

위처럼 괄호 안에 py37-tc라는 이름이 나타날 것입니다.

이 상태에서 pip 명령어를 통해 numpy, matplotlib, pillow, scikit-image, torch, torchvision, opencv-python, opencv-contrib-python, PyQt5 등등을 설치해야 하는데 CUDA를 설치한 뒤 설치하는 것으로 넘어가겠습니다.

CUDA, CUDNN

이 프로젝트의 경우 python과 pytorch를 이용할 예정입니다. pytorch를 사용할 경우 CUDA와 CUDNN이 필수로 설치가 되어 있어야 합니다.

현재 CUDA가 11버전까지 나왔는데 안정성을 위해 10.1 버전을 사용하는 것을 추천합니다.

리눅스의 경우 마찬가지로 제 깃허브에 linux-manual을 참고하시면 편하게 설치할 수 있습니다.

윈도우는 제가 기억이 잘 안나는데 cuda 설치하고 cudnn 압축풀어서 폴더 복사하고 최종적으로 시스템 환경변수에 cuda 위치 추가해줬던 것으로 기억납니다.

Intro

안녕하세요 빵꾸아빠입니다.

지난 글을 시작으로 제가 이미 제작해 본 딥러닝을 활용한 얼굴 인식 프로젝트와 데모를 통한 시연 프로그래밍을 다시 한번 정리하면서 진행하려고 합니다.

이 프로젝트를 진행하기 위해서는 파이썬 프로그래밍 언어에 대한 기본적인 지식이 있어야 되고 딥러닝에 대해 자세한 설명을 하지 않으므로 구글에 모두의 딥러닝이라고 검색하시면 좋은 무료 강의 들이 많으니 2~4주 정도 기초 지식이나 기술을 배워 오시면 프로젝트를 따라 진행하는 데 있어 많은 도움이 될 것입니다.

얼굴 인식

이 프로젝트는 딥러닝으로 학습한 얼굴 인식 네트워크를 실제로 어떻게 활용하는지 따라 하거나 학습할 수 있도록 정리할 예정입니다.

Computer Vision 분야에서 얼굴 인식은 크게 2가지의 Task로 나눠지는데 하나는 Verification, 다른 하나는 Identification이라고 합니다.

인식을 하려면 우선 데이터, 즉 우리가 비교하고자 하는 사람의 얼굴이 있어야 합니다. 보통 인식을 하고자 하는 얼굴을 Probe라고 부르며 비교할 대상들을 Gallery라고 합니다. Probe와 Gallery를 어떻게 비교할 지에 따라 task가 구분됩니다.

Gallery에는 각 사람별로 ID(또는 class)가 있고 각 ID별로 여러 장의 얼굴 사진들이 저장되어 있을 것입니다.

Verification은 Probe(입력이라고 생각하시면 됩니다.)로 들어온 얼굴 사진과 Gallery의 한 ID의 한 장의 얼굴 사진과 어떠한 얼굴의 값을 나타내는 벡터 값의 차이를 계산하여 Probe가 Gallery의 ID와 동일하냐 아니냐를 판단하는 task입니다.

Identification은 Probe로 들어온 얼굴 사진이 Gallery의 모든 ID의 모든 얼굴 사진과 얼굴의 값을 나타내는 벡터 값을 비교했을 때 가장 차이가 적은 ID를 Gallery에서 찾아내는 task입니다.

쉽게 설명하자면 A라는 사람의 얼굴이 새로 입력으로 들어왔을 때 Verification은 A가 맞냐 아니냐를 맞추는 것이고, Identification은 A부터 Z까지의 사람들 중에 이 사람이 A라는 것을 맞추는 것입니다.

딥러닝

우리가 현재 흔히 말하고 있는 인공지능 기술은 딥러닝을 통해 학습한 네트워크의 결과물을 가지고 분석하여 여러 분야에 활용하고 있는 기술을 말합니다.

딥러닝 또한 머신러닝의 일부이며 머신러닝은 과거 오래전부터 계속 연구되어 왔습니다. 그래픽카드의 발전으로 딥러닝 네트워크라고 부르는 deep neural network를 효과적이며 빠르게 학습할 수 있게 되었습니다.

현재 2020년에는 python이라는 언어를 통해 코딩의 장벽이 매우 낮아져 쉽게 자신만의 딥러닝 네트워크를 만들어 볼 수 있습니다.

얼굴인식+딥러닝

이 프로젝트의 목적은 얼굴인식을 딥러닝을 통해 진행하고 그것을 화면으로 보여줄 수 있는 데모까지 만드는 것입니다.

프로젝트는 크게 데이터 준비, 딥러닝 모델 준비, 학습 및 테스트 준비, 데모 프로그램 개발의 단계로 구분이 됩니다.

데이터 준비

딥러닝은 대용량의 데이터를 통해 원하는 task를 할 수 있도록 딥러닝 네트워크의 값을 계속해서 수정해가며 학습하는 것을 말합니다.

그렇다면 딥러닝을 활용하고 싶다면 먼저 대용량의 데이터가 있는지 먼저 조사를 해봐야 합니다.

1) 학습용 데이터셋

얼굴의 경우 매우 다양한 데이터셋이 존재하는데 저는 학습용으로 VGGFace2라는 데이터를 이용할 예정입니다.

아마 검색을 해보시면 무료로 다운이 가능할 텐데 대략 9000명 이상의 사람이 있고 300만 장 정도의 얼굴 사진이 저장되어 있습니다.

2) 테스트용 데이터셋

딥러닝을 통해 학습을 하면 네트워크가 학습용 데이터셋만 잘 맞추는 오버 피팅이라는 문제가 생길 수 있습니다. 따라서 주기적으로 테스트용 데이터셋을 이용해 우리의 네트워크가 학습이 잘 진행되고 있는지 확인할 필요성이 있습니다.

일반적으로 LFW라는 데이터셋을 많이 사용하니 LFW Dataset을 준비하도록 하겠습니다.

딥러닝 모델(NEURAL NETWORK) 준비

저는 얼굴 인식을 위해서 경량화니 성능이 더 좋다니 하는 네트워크들을 준비해서 사용했지만 여기서는 ResNet이라는 네트워크를 사용할 예정입니다. python에서 사용 가능한 딥러닝용 패키지들에는 몇 가지 기본적인 네트워크를 쉽게 사용할 수 있도록 제공해주는 데 ResNet이 바로 그 기본적인 네트워크입니다.

학습 환경 준비

1) CPU

인텔 CPU 추천(AMD CPU보다 인텔 CPU가 그래픽카드를 사용하지 않는 수학 연산이 훨씬 빠르다고 들었습니다)

2) GPU

NVIDIA 그래픽 카드만 사용, CUDA 지원 여부 확인해야 하며 최소 GRAM 4GB 이상은 되어야 학습이 가능합니다.

Batch Size라고 한 번에 몇 장의 이미지를 학습하는 지에 대한 크기와 우리가 학습하려는 딥러닝 모델의 구조에 따라 그래픽 카드 메모리 사용량이 변하게 됩니다.

실제 테스트를 위한 그래픽카드 메모리는 2GB~4GB 사이라 NVIDIA 9XX대 그래픽카드들로도 충분히 데모프로그램을 만들 수 있습니다.

하지만 그래픽카드 메모리가 적으면 학습이 불가능할 수도 있으니 추천은 6GB 이상을 추천 합니다.

3) 저장장치(SSD, HDD)

딥러닝 좀 해보신 분들 중에 의외로 모르는 분들이 많은데 학습 시간이 좀 길다고 느껴지는 분들은 한 번 확인해봐야 하는 부분입니다.

요약 정리를 해드리자면 학습에 사용할 DB는 SSD, 학습한 모델이나 중간중간 테스트 로그 등을 저장할 곳은 HDD 이렇게 나눠서 저장하시면 좀 더 빠르게 학습이 가능합니다.

학습은 저장장치 공간 => 시스템 메모리 => GPU 메모리 이런식으로 학습에 사용할 이미지들을 불러오면서 진행됩니다. 우리는 300만장이라는 이미지를 GPU 메모리에 한 번에 올릴만큼 GPU 메모리가 큰 것이 아니므로 Batch라는 방식으로 32장, 64장, 128장 등 (대부분 2의의 n제곱)의 형태로 데이터를 불러와 학습하는 것을 반복하게 됩니다.

이 과정에서 이미지를 불러오는 시간이 은근히 오래 걸리는데 DB 위치를 HDD에 저장하고 사용하다가 SSD에 저장하는 것으로 바꿔보면 2배 이상 빨라진 것을 체감하실 수 있을 것입니다.

4) 메모리

메모리 크기는 8GB만 넘으면 충분합니다.

5) OS

개인 서버를 만들 수 있다면 서버는 Linux를 추천합니다.

만약 그게 힘들고 집에 있는 컴퓨터로 딥러닝을 개발하고 싶으면 Window 그대로 사용해도 됩니다.

Mac은 제가 사용 안해봐서 잘 모르겠습니다.

저는 연구실에 서버가 있어 서버는 Linux로 되어 있고 코드 작성이랑 실행 등은 윈도우에서 진행합니다.

Introduction

요새 좀 부지런하게 살고자 하는 마음에 하루에 기본적으로 해야 할 일들 혹은 할 것 같은 일들을 기록하고자 매일 하는 체크리스트를 Python과 Linux를 통해 자동으로 매일매일 같은 양식의 페이지를 추가해주는 환경을 구축해 보았습니다.

어떤 페이지를 만들면 그 페이지에 매일 새로운 체크리스트 페이지를 만드는 방식입니다.

페이지를 들어가보면 이런 식으로 오전, 오후, 기타, 취미, 빵꾸(저의 반려동물입니다.) 등에 대해 Toggle을 만들어 놓았고 펼쳐보면 아래처럼 체크박스 형태의 내용물들이 나옵니다.

동작은 python 코드 한 개와 매일 새벽 2시 5분에 자동으로 프로그램을 실행하게 만드는 Linux crontab 관련 기능을 이용해서 만들어서 제가 올려드리는 소스코드를 참고하시면 쉽게 따라 하실 수 있을 것입니다.

Notion에 새로운 페이지 만들기

Notion에 Private 부분에 +버튼을 눌러주세요.

그러면 새로운 Untitled 페이지가 생성되는데 여기서 파란줄 부분을(DATABASE - Table) 눌러줍니다.

그러면 3줄짜리 TableViewBlock이라는게 생깁니다.

저 3줄을 일단 우클릭을 눌러 Delete를 통해 3줄 모두 삭제합니다.

깔끔! 그리고 Untitled 부분에 원하는 페이지 이름을 작성합니다.

Icon까지 이쁘게 설정하시면 됩니다.

Token_v2 값 알아오기

python에서 api를 통해 페이지 정보를 받거나 수정하려면 token_v2라는 값이 필요합니다. 계정마다 token_v2값이 다르며 비밀번호라고 생각하시면 됩니다.

(※ 주의. 절대로 다른사람에게 token_v2값을 보여주지 마세요!)

찾는 법은 간단합니다. 외국인 블로그인가 유튜브에서 notion api 사용법에 대해 찾으면서 봤는데

일단 크롬 브라우저에서 본인의 notion 페이지에 접속합니다.(notion 검색하고 들어가서 로그인하면 보여요)

크롬에서 열면 위와 같이 주소창에 나오는 url 주소는 미리 복사해서 어디 저장해 두세요.

그리고 F12버튼을 눌러줍니다.

F12 버튼을 누르고 Application Tab → Cookies Tab 들어가면 token_v2의 값이 나옵니다. 해당 값을 복사해서 또 url 주소와 같이 보관해 두세요.

url 주소와 token_v2 값만 있다면 python에서 이제 당신의 notion 페이지에 손쉽게 접근이 가능하게 되었습니다!

Python 자동 체크리스트 추가 파일 만들기

저는 Pycharm을 이용했습니다. 필요한 패키지는 notion 패키지만 있어도 쉽게 사용 가능합니다.

notion package는 아래의 명령어를 치면 쉽게 설치 가능합니다.

https://pypi.org/project/notion/

pip install notion

from notion.client import NotionClient
from notion.block import *
from notion.collection import *
from datetime import datetime
import notion

def get_today_str():
    today = datetime.today()
    return f'{today.year}년 {today.month}월 {today.day}일'

token_v2 = '아까 복사한 token_v2 값' # token == 비밀번호 라고 생각하면 됩니다.
client = NotionClient(token_v2=token_v2)    # Notion에 접속한다고 생각하면 됩니다.

url = '우리가 접근하려고 하는 notion page 주소' #우리가 수정하거나 정보를 받고 싶은 페이지의 url 주소를 입력해주세요.

page = client.get_block(url, force_refresh=True) #  해당 url의 메인 페이지를 불러올 수 있습니다.

## page.children을 print해보면 CollectionViewBlock 혹은 TableViewBlock이 존재한다고 나올겁니다.

myViewBlock = page.children[0] # 우리가 미리 만들어 놓은 테이블(ViewBlock)을 호출합니다.

new_row_of_my_table =myViewBlock.collection.add_row()   # 우리가 만든 테이블의 데이터 모음을 collection이라고 부르는데 여기에 새로 가로 줄을 하나 추가해줍니다.

# 가로줄을 추가하는 순간 table view의 특성상 이름이 Untitled(안보임)인 페이지가 추가됩니다.

new_row_of_my_table.title = get_today_str()+' 체크리스트'    # 새로운 가로줄의 이름을 설정하면 새로운 페이지가 눈에 보일 것입니다.

AM_check_list_toggle = myViewBlock.children.add_new(ToggleBlock, title='오전 체크리스트')   # 누르면 펼쳐지고 또 다시 누르면 닫히는 Toggle 블럭을 우리가 새로 만든 페이지에 추가해줍니다.

## 위의 Toggle Block의 이름은 미리 title에서 지정해두었고 toggle의 하위 내용으로
## TodoBlock을 추가해줍니다.

AM_check_list_toggle.children.add_new(TodoBlock,title='8시 30분 전에 기상')
AM_check_list_toggle.children.add_new(TodoBlock,title='10시 30분 전에 출근')
AM_check_list_toggle.children.add_new(TodoBlock,title='새로운 메일 점검!')

# 이런식으로 추가해주세요.

# Notion은 블럭단위로 입력이 되는데 위와같이 코딩을 할 경우 한 줄씩 차례대로 입력되는 것을 볼 수 있습니다.

열심히 주석에 설명을 달아놓았으니 한번 사용해보고 입맛에 맞게 변경하여 사용하시면 됩니다.

체크리스트 자동화 시스템 - Linux, Ubuntu

열심히 만든 python 파일을 이제 자동으로 매일 실행시키는 코드만 남았습니다!

Linux의 crontab을 이용하면 손쉽게 자동으로 프로그램을 실행시킬 수 있습니다.

sudo nano /var/spool/cron/crontabs/{사용자이름}

위 명령어를 치면

이런 화면이 나옵니다.

맨 마지막에 명령어를 보면

5 2 * * * /opt~~/python /home~~~/upload_test.py

위 처럼 되어 있는데 5 2 * * * 는 매일 2시 5분에 자동으로 뒤에 나온 명령어를 실행시키라는 명령어입니다.

그렇다면 실제 명령어는

/opt~~/python /home~~~/upload_test.py

이 명령어가 실행이 되는데 가상 환경을 쓰셨다면 가상 환경의 bin 폴더 내 python 위치 띄우고 아까 작성한 python 파일 위치를 지정하시면 매일 새벽 2시 5분에 체크리스트가 새로 추가되는 것을 확인하실 수 있습니다!

중간에 gdrive 명령어는 제가 엑셀에 적은 일정 내용을 자동으로 구글 캘린더랑 연동시키는 프로그램을 자동화한 건데 귀찮아서 안 쓰고 있습니다...

결론

컴퓨터를 실험 때문에 항상 켜 두는 입장이라 저는 이런 자동화 환경이 가능하지만 아닌 분들은 그냥 notion에 템플릿을 등록해두고 매일 추가해주시면 편할 거예요. 굳이 이렇게 귀찮다고 코딩하는 분들은 많이 없길 바랍니다!

Introduction

안녕하세요 빵꾸아빠입니다.

딥러닝을 이용한 얼굴 인식 프로젝트를 진행하고 최종적으로 데모까지 만드는 과정을 글로 공유하고자 합니다.

사용하는 프로그래밍 언어는 Python을 사용하고 가상환경을 위하여 Anaconda3를 설치하여 Pycharm과 Linux를 통한 개발환경에서 프로젝트를 진행합니다.

준비물

코드 편집기(선택)

• Visual Studio Code(추천) : 무료
• Atom(잘 몰라요) : 무료
• Pycharm(추천) : 학생은 무료

가상환경

• Anaconda3 : 무조건 최신버전

서버 세팅

• 서버 세팅은 연구실 선배가 작성해주신 https://github.com/wh-y-j-lee/linux_manual 를 참고해서 진행

서버 원격 접속 세팅

• 추후 추가 예정
• Pycharm : 원격 접속
• Putty : 원격 접속
• Putty - tmux 세팅

안녕하세요.

컴퓨터비전 분야에서 딥러닝을 통한 이것저것 실험을 진행해보고 있는 전기전자공학과 대학원생입니다.

제가 알고 있는 정보들과 팁들을 공유하고 저 또한 다른 분들을 통해 공유 받을 수 있는 그런 환경을 만들고 저의 기록들을 남기고자 블로그를 시작합니다.

1. 딥러닝을 공부하면서 겪은 여러 시행착오들에 대한 팁

2. 관심 있는 논문 리뷰

3. 딥러닝을 활용한 프로젝트, 데모 제작기 공유

4. 광고 붙여보기

미래에 저에게 이 블로그의 기록들이 도움이 되길 바라고 돈도 벌어다 주면 더욱 좋고 그렇게 되도록 좋은 글들 작성할 예정입니다.