[대학활동] 2020 캡스톤디자인1 프로젝트

4학년 1학기에 수강한 캡스톤디자인1 과목

---

과목 소개 :

캡스톤디자인 말의 의미 :
Capstone - 건축물 맨 위에 올려놓는 관석 으로 가장 아름답다고 한다. (대학의 마무리를 짓는 의미)
Capstone Design 은 학생들이 대학에서 배운 이론을 바탕으로 작품을만드는 프로젝트이다.

3년간 학교에서 배운 지식을 활용하여 산업체,사회 가 필요로 하는 과제를 대상으로 프로젝트를 진행

자유 주제이고 이는 공학인증시 졸업 논문을 대체하는 성격.
(물론 나는 공학인증포기자 이지만 프로젝트가 재밌어서 그냥 했다.)

---

주제 :

" CFR 과 데이터 분석을 이용한 광고 플랫폼 제작 "

CFR API를 활용해서 광고의 효율을 높이고자 하였다.

광고의 범위는 1인 일수도 다인일 수도 있고 장소의 제한은 없게끔 했다.

이미 설치되어 있는 환경에 추가 장착할 수 있는 방식으로 제작하여 비용 절감을 꾀하였다.

---

과정 :

전자공학과 3명이서 진행.

전체적인 흐름 ->

Haar Cascades를 이용해 대상의 얼굴을 파악했고 이를 알맞게 캡쳐하여 CFR를 이용해 얼굴을 분석.

이후 분류해 놓은 영상을 Moviepy를 이용해 디스플레이.

만약 광고가 한 사람을 타겟으로 진행한다면 Speech_recognition을 이용해 광고에 집중할 수 있도록 한다 (subprocess이용).

한명을 대상으로 한 광고가 끝났다면 QR 코드를 촬영해 포인트를 획득할 수 있다.


수행 연구분야 -

타임라인 -

HW 구성도 -

SW 구성도 -

서비스 흐름도 -

---

역할 :

코로나가 급작스럽게 덥쳐 협력하기 힘들었다. 그 결과 보드를 가지고 있는 내가 대부분 만들게 되었다.

1. Haar Cascades 를 이용한 얼굴검출
OpenCV 를 이용해 Haar Cascades를 실행해 얼굴을 검출한다면 검출된 영역의 데이터를 캡쳐하여 임시저장. 대체로 카메라가 위에 존재하기 때문에 얼굴을 들 때 흔들리는 모습이 찍히는 것을 방지하기 위해 Frame test를 진행해 주었다. 결과적으로 Frame이 3 이상일 때 정상적으로 얼굴이 캡쳐됨을 알 수 있었다.

2. CFR을 이용한 얼굴분석
캡쳐된 2KB 이하 얼굴사진을 CFR 서버로 전송하고 분석 결과를 받을 수 있었다. 그 중 원하는 데이터만 크롭하여 사용할 수 있는 형태로 가공했다. Haar Cascades 를 이용한 얼굴 검출은 Crop square 를 얼굴에 타이트하게 맞추는데 CFR은 좀더 느슨한 형태의 얼굴을 좀 더 잘 인식하는 것을 알게되어 Crop square 영역을 조금 더 넓게 하여 크롭해 주었다.

3. 음성인식
STT(Speech to Text)를 위해 Google Speech Recognition 을 이용하였고 정확하지 않은 이 프로그램을 개선시키기 위해서 많은 실험을 진행했다.
총 6차 개선에 따라 아래와 같은 결과표를 나타낼 수 있었다. 주황 그래프는 인식 시간(sec) 파란색은 인식하기까지 말한 횟수 이다.

4. 해상도 조정
영상 디스플레이 시 Moviepy로 재생했는데 풀 화면으로 나오지 않아 /etc/boot/confing.txt 의 hdmi_mode 를 변경해 주어 영상의 resolution과 width, height를 자동조정하도록 했다.

---

결과 및 고찰:

성별, 나이대를 분류하여 대상에게 적합한 광고를 송출하여 광고효과를 높일 수 있었다.

1:1 광고일 경우 헬스장 러닝머신 등에 설치, 1:多일 경우 옥외 광고판 등에 설치할 수 있는 등 한 가지 제품에 국한되지 않으므로 다양화를 꾀할 수 있다.

사용자 정보를 데이터화하여 저장하지 않기때문에 개인정보 유출의 걱정이 없다.

Windows, Linux, Raspbian 등의 환경에서 개발하여 확장성이 좋다.

기존 디스플레이 그대로 이용가능하고, 소형이며 저렴한 가격으로 구성할 수 있다.

지역광고 활성화 방안으로 제시할 수 있을것이다.