sgh002400 / osscap2020 Goto Github PK

미팅 시간 : 11월2일 14:00 ~ 17:00

송지호, 김명진, 신지환 -- 라즈베리파이에 Raspbian 이미지 설치 완료, Raspi 첫 부팅 화면 설정 완료.

송지호, 김명진 -- 이번주에 맡기로한 라즈베리파이와 led matrix 연결 완료. 중반까지는 팀원 모두 다 같이 진행했으나 완성하지 못하여서 송지호, 김명진 학우 둘이 만나서 완성함. 그 후 다음주 미팅 때 신지환 학우도 잘 작동되는지 테스트해 볼 예정임.

김명진 -- http://makeshare.org/bbs/board.php?bo_table=raspberrypi&wr_id=103
https://blog.naver.com/dlwjddns5/220740541961
https://jeongchul.tistory.com/542
https://m.blog.naver.com/PostView.nhn?blogId=makepluscode&logNo=221399939583&proxyReferer=https:%2F%2Fwww.google.com%2F
https://www.youtube.com/watch?v=MjjbFLiFq2Y
등을 참고하여 다음주에 맡은 부분인 HDMI로 연결된 모니터 내장 스피커 출력 방법에 대해 공부하였고 자료를 공유함.

신지환 -- 라즈베리파이 위에 OpenCV 설치 완료, OpenCV 설치는 완료했으나 잘 작동하는지 확인 후 팀원들도 설치할 예정.
참고 : http://www.3demp.com/community/boardDetails.php?cbID=235

다음주에는 송지호, 김명진 학우가 알람 소스코드 작성 및 라즈베리파이 스피커 연결 및 출력을 담당하기로 했고
신지환 학우가 Pi-camera를 연결 및 OpenCV를 활용하여 사용자 얼굴 인식을 코드 작성을 담당하기로 하였다.

• 김명진 : 오픈API를 활용하여 프로젝트를 하는게 좋을 것 같다.
  지하철을 기다릴 때 우리가 주로 할게 없어 심심한데 그때 간단한 게임을 플레이 할 수 있는 게 목적임.
  서울시 지하철 실시간 도착정보 API를 사용하여
  지하철 현재 역 입력 -> 방향(행) 입력 -> 몇 분 뒤에 오는지 출력, 게임을 실행할지 말지 Y/N로 입력 받음 -> 간단한 게임 진행(google chrome공룡게임 같은 거 ), 지하철이 도착하기 전에 자동으로 종료 (몇 분 남았는지 상단에 표시 )

• 송지호 : 아침에 그저 밀어서 끄는 알람은 정신이 안들어도 간단히 끌 수 있어서 확실하게 잠을 깨우기 위한 알람.
  거리센서를 추가하여 알람을 끄기위한 조건을 추가해주자.

  1. 먼저 알람이 울릴 시간을 정해둔다.
  2. 시간이 되어 알람이 울리기 시작하면 LED전광판에 랜덤으로 숫자가 띄워진다.(단위는 cm)
  3. 거리 센서 앞에 사람과의 거리가 LED에 나타난 거리와 일치하면 다음 단계인 간단한 게임을 시작한다.(ex: 테트리스, 공룡게임등등..)
  4. 게임이 시작하고 목표점수를 랜덤으로 정해준 후 목표점수에 다다르면 게임이 종료되고 알람도 그친다.

• 신지환 :

1. 속도 측정 센서를 사용하여 움직이는 물체의 속도를 측정해서 특정 값 이상이면 led matrix에 찡그린 표정을 띄우고, 값 이하이면 웃는 표정을 표시한다.
2. 카메라를 이용하여 사람의 얼굴을 인식해 만약 마스크를 착용하고 있지 않다면 led matrix에 마스크를 쓰지 않았다는 느낌을 주는 찡그린 이미지를 띄우고 마스크를 착용하였다면 웃는 이미지를 띄워준다.
3. 송지호 학우의 아이디어를 조금 수정하여 알람이 울릴 시간을 정해두고 카메라로 얼굴 인식이 되었을 때, 조도 센서를 활용하여 빛이 켜졌을 때의 조건을 만족했을 경우 led matrix에 울린 횟수, 시간을 일단 띄우는 것으로 방향을 바꿈.
   만약 여유가 된다면 딥러닝을 이용한 표정을 분석하여 그날의 기분을 띄워주는 것, 날씨 정보 API를 가져와 그날의 날씨 등을 led matrix에 띄우는 것을 논의함.

결정 사항 : 알람이 울릴 시간을 설정하면 그 시간에 알람이 울리고 카메라로 얼굴 인식이 되었을 때, 빛이 켜졌을 때의 조건을 만족하면 알람이 꺼지면서 led matrix에 어떠한 것을 띄워주는 것으로 결정함. 여유가 된다면 구글 API의 음성인식 기능을 활용하여 알람을 끄는 기능과 딥러닝을 통해 표정을 분석하여 그날의 기분을 led matrix에 띄우는 기능도 추가하기로 결정.

https://blog.naver.com/ljy9378/221429970163 - OpenCV 참고자료
https://wikidocs.net/book/483 - 라즈베리파이 참고자료
https://blog.naver.com/PostView.nhn?blogId=gbtec&logNo=221618037991 - 알람시계 만들기 참고자료
https://www.youtube.com/watch?v=bi9tt0U-NOg&t=106s - window에서 gitbash 사용법 등을 같이 조사함.

월요일에 서로 조사해올 것과 PPT역할을 정한 뒤 수요일에 다시 조사해온것와 PPT피드백을 받기로 했다.

김명진 : PPT제작 및 프로젝트 알람 작동에 대해 조사하기로 함

• RasberryPi를 이용한 일반적인 알람 작동 방식에 대해 조사함.

  1. 현재시각 설정 by time lib
  2. 알람시각 설정
  3. 현재시각과 알람시각 If문 사용하여 비교, 같다면 알림음 출력
     by pygame lib

• 이 중에서 알림음 출력 과정에 필요한 것들은 조사해봄.

• [라즈베리파이에 스피커 연결하는법]

  두가지 방법으로 구현가능.

1. 3.5mm오디오 잭 스피커를 라즈베리파이의 3.5mm 오디오 잭에
   연결하여 활용가능.
2. HDMI케이블에 연결되는 스피커(모니터에 내장된 스피커) 활용
   가능. 관련 출처
   http://makeshare.org/bbs/board.php?bo_table=raspberrypi&wr_id=103

• [라즈베리파이를 사용하여 파이썬으로 음악파일 재생시키기 by pygame lib] : https://blog.naver.com/dlwjddns5/220740541961

송지호 : 프로젝트의 LED 전구를 키고 끄는 법 조사하기(조도센서 추가)

• 파이썬에서 GPIO를 이용하여 전류를 흐르게하여 LED를 킬 수 있다.

• 라즈베리파이의 전압이 쎄 LED전구가 터질 수 있기에 저항이 필요함(220옴 정도)

• 조도센서를 저항으로 사용이 아닌 값을 받아오는 것이라면 따로 저항이 필요하다.

• 조사해온 정보는 조도센서가 감지한 빛의 수치를 위치가 바뀔때마다 일일히 바꿔서 켜졌다 꺼지는 일이 힘들것이라 예상

조사한 정보:

• 라즈베리파이3, 파이썬을 이용한 LED 사용:
  https://redmuffler.tistory.com/421

• 조도센서로 빛에 대한 값 가져오기: https://www.enqdeq.net/211

• 사용한 깃허브: https://github.com/pimylifeup/Light_Sensor/

신지환 : 프로젝트의 카메라를 통해 얼굴인식하는 법을 조사

• 라파 PI-camera 연결 및 사용

• 라파에 OpenCV 설치

• Haar feature-based cascade classifiers를 사용하여 카메라를 통해
  사람의 얼굴 판별하기

• 개인의 얼굴을 학습시켜 사람별로 구분할 수 있도록 사진 데이터
  수집

• 사진을 가지고 학습시켜 각 사람별로 구별하게 만들기

• 학습된 정보를 가지고 사람을 구별하여 이름 띄우기

• 알람 울리는 방식을 피에조 부저로 삐삐삐 소리를 내거나, 스피커
  를 이용해 노래가 나오는 방식 2개중에 고르자고 의견을 냄

• 참고할 정보:

  1. 라즈베리파이 openCV 설치: http://www.3demp.com/community/boardDetails.php?cbID=235

  2. 라즈베리파이 카메라모듈과 openCV연동: http://www.3demp.com/community/boardDetails.php?cbID=236

  3. 실시간 얼굴인식 카메라 프로젝트 개요: https://blog.naver.com/ljy9378/221429970163

결정 사항 :

1. 이번주 금요일전까지 발표 PPT 피드백 하고, 프로젝트에서 조사 한 부분을 단계별로 쪼개어 맡아야 할 역할을 정했다.

2. 알람소스코드+스피커 , 조도센서 활용 LED, opencv활용 카메라등 해야할 활동일정들을 세부적으로 나누었다.

3.세부 일정

• 라즈베리파이와 LED Matrix연결 및 설치(10.27 ~ 11.09)

• 알람 소스코드 작성 및 테스트, 라즈베리파이 스피커 연결 및 송출 공부, 테스트 (10.27 ~ 11.16)

• 조도센서 활용법 공부 및 코드에 적용 (11.17 ~ 11.30)

• OpenCV활용하는 영상처리 공부, 사용자 인식 + 표정 인식 테스트 (11.03 ~ 11.30)

2020/11/23

김명진 : pytet_v0.2_led 를 활용하여 LED Matrix에 띄워야하기에 해당 디렉토리 내의 LED_display.py와 pytet.py를 활용하여 기존 알람을 LED버전으로 제작하는 과정을 진행함.
진행에 앞서, pytet은 16x32의 arrayScreen을 사용하여 만들어진거라 32x16으로 바꾸는 과정에서 LED_display.py의
내부를 수정해줌. 또한 pytet.py의 내부에 존재하는 여러가지 함수들을 알맞은 조건에 맞게 사용하기 위해 수정해줌
수정과정을 거쳐 32x16의 LED Matrix의 좌표계를 설정하였고, 초기화면을 LED Matrix에 띄우도록 코딩하였고
알맞게 출력됨을 확인함. 또한 알람음 설정, 알람음 크기 설정 시, LED Matrix에 띄워지는 부분도 구현함.

송지호 : 명진 학우를 도와 알파벳을 LED matrix의 5 X 3크기에 각각 띄울 방법을 찾은 후, 딕셔너리 형태로 만들어 줬다. 어떻게 UI를 띄울것인지 LED좌표를 구체적으로 구해줬다. 알람 소스코드에다 안면 인속 소스코드를 알람이 꺼지는 조건으로 만들고 있음.

신지환 : 파이 카메라를 테스트하는 코드를 작성하여 테스트를 하였는데 두 번 이상 이 코드를 수행하면 에러가 나서 구글링을 통해 어떠한 드라이버를 설치함으로써 이 문제를 해결하였다. 그리고 얼굴 인식하는 코드를 작성하여 테스트를 하여 성공하였다. 그 이후 객체 인식을 위해 사용자 id를 입력하여 사용자의 얼굴을 30장 촬영한 뒤 그 사진을 학습하여 마지막으로 사용자와 유사도가 40%가 넘었을 때 객체를 인식하여 박스를 만들고 사용자의 이름을 화면에 띄우도록 구성하였다. 그리고 사용자 인식하는 소스코드는 함수 형태로 구성하여 main 함수에서 import하여 사용할 수 있도록 하였다.

11/26

김명진 : 저번시간에 만든 alarmclock_forLED.py 에서 LED Matrix에 VOLUME 크기를 띄우는 과정에서 두자리수에서 한자리수로 변경할 경우 앞의 자릿수가 초기화 되지않아 출력오류가 뜨는것을 수정했고, 알람 시각 설정 부분에서도 동일한 오류가 발생하여 수정했다. 얼굴인식 부분 함수를 import해와서 해당 기능을 코드에 합쳤다. 직접 실행을 해보아서 잘 작동함을 확인했다. 모니터에 내장 스피커가 없어 다음주에 만날때 3.5mm잭 스피커를 들고와 소리출력까지 해보기로 했다. 각 단어(TIME, SOUND, VOLUME)의 가독성을 높이기 위해 y=5, y=11을 기준으로 색깔을 변경함.

송지호 : 우리가 만든 프로젝트를 실행시켜보기위해 설치해야하는 패키지들은 무엇인지, 간결한 프로그램 실행방법과 구체적으로 어떻게 실행되는지에 대한 설명들을 Read.me파일에 적었다.

신지환 : led matrix가 지지직 거리는 현상이 발생하여서 김명진 학우와 송지호 학우와 함께 이유를 찾던 도중 현재 시간을 지속적으로 가져오는 과정에서 딜레이가 발생하는 것이 원인이라는 것을 알아 내었고 해결하였다. 마지막으로 완성된 코드를 테스트해보고 오류가 나는 것들을 수정하였다.

11/30일에 만나서 마지막으로 스피커를 연결하여 실행해보고 동영상을 촬영하기로 했다.

이번주엔 본격적으로 프로젝트를 시작 하여 월요일, 목요일에 만나 각자 담당을 맡아서 진행하였다.

• 김명진
  알람시계 오픈소스를 가져오는 송지호 학우를 도와 우분투에서 실행시키지 않고 윈도우 시스템에서 실행시킨 후 pygame모듈이 작동하지 않았던 오류를 해결해 주었다. 알람소스코드에서 불필요한 부분을 지운 후 세세한 부분을 수정하였다. 지환학우와 함께 파이카메라를 통해 얼굴이 인식되는지 오픈소스코드를 보며 수정을 도와주었다. 팀 Github에 수정된 알람소스코드와 알람 wav파일을 올려줬다. 프로젝트에 추가로 알람음 선택과 알람 음량 조절 기능을 추가로 만들자는 의견낸 후 지호학우와 만들어 적용하였다. LED matrix작동 시범 및 알람시계 UI구상을 하였다.

• 송지호
  Github에서 알람시계 오픈소스를 실행시키던 중 알 수 없는 오류들이 발생했지만 명진학우가 도와줘 알람소스코드까진 구해냈다. 다른 알람시계코드에서 알람설정 및 시간이 되면 울리는 것까지 코드를 수정했다. 명진학우가 낸 추가기능의 코드를 명진학우와 만들어냈음.

• 신지환
  월요일에 파이카메라 구했고 라즈베리파이에 연결은 못했지만 설정 완료했고 파이썬으로 카메라를 구동시키는 코드를 작성 후 실행했는데 Assertion failed 오류가 발생해 https://blog.naver.com/ljy9378/221438192568 보고 참고하여 수정했고 목요일에 만나서 카메라 연결 후 소스코드 돌려보면 됨. 파이카메라를 이용하여 모니터를 통해 카메라의 작동여부를 확인했다. 파이카메라를 통해 얼굴이 인식되길 테스트하고있다. 라파에 파이카메라 연결 완료 실험 소스코드 작성 후 테스트 완료 얼굴 인식하는 코드 작성 완료, 사용자 인식을 위해 사진을 30장 찍는 코드 작성완료, 코드를 학습시켜 얼굴을 비추면 이름을 화면에 띄우는 코드 작성 중에 있음

참고한 Github나 블로그 출처

1. Python time alarm: pygame에서 자꾸 문제가 발생하였지만 명진학우가 문제를 해결하여 알람이 울리는 소스코드로 만들어서 공유해줬다. https://github.com/chandong83/python_time_alarm

2. 라즈베리파이에서 알람울리기: 같은 라즈베리파이지만 외부스피커를 장착하여 만든 알람소스코드이기에 이를 내부스피커에서 소리가 나도록 수정하였다. https://okky.kr/article/473132

3. smart_alarm_clock_project: 우리가 계획한 프로젝트와 비슷한 부분이 상당히있어서 참조했다.https://github.com/junsoofeb/smart_alarm_clock_project

4. 파이썬으로 라즈베리파이 카메라 사용하기: 지환 학우가 카메라를 구동시키는 코드를 실행하다 발생한 오류를 해결하는데 도움이됬다. https://blog.naver.com/ljy9378/221438192568

2020/11/15

지난번 미팅에 이어 신지환 학우도 LED Matrix연결 성공함.
김명진 학우 저번 시간에 공부한 라즈베리파이 스피커 연결 및 출력을 HDMI모니터 내장 스피커를 통해 출력 성공함.

알람 오픈소스 코드 작성을 맡은 김명진, 송지호 학우가 각각 github에서 alarmclock이라는 키워드를 통해 오픈소스들을 검색하였고 공유함.

• 김명진
  https://github.com/craigfortune/RaspberryPiAlarmClock
  https://github.com/malcx95/RaspPiAlarmclock
  https://github.com/jaakko91/alarmclock

• 송지호
  https://github.com/ahartman1287/AlarmClock
  https://github.com/chrisbeardy/AlarmClock
  https://github.com/stklik/AlarmClock

• 위의 오픈소스나 또 다른 오픈소스를 살펴보고 비교하여, 가장 적합한 오픈소스를 다음 회의때 결정하기로 함.

• Pi-camera 연결을 통한 카메라 사용을 위해서 설치 시간이 오래걸리는 OpenCV를 아래의 링크를 참조하여 각자 라즈베리파이에 설치해오기로 함.
  http://www.3demp.com/community/boardDetails.php?cbID=235
  (설치하는 과정에서 sudo apt-get upgrade를 하면 각각의 라즈베리파이 버전이 안맞아서 교류에 어려움이 생길듯해 해당 명령어는 실행하지 않고 진행하기로 함)

• 앞으로 해야할 과정은 서로 다같이 합심하여 해야하기 때문에 원래 오픈소스 수업끝나고 만나서 했던 간단한 회의를 목요일 오후에 한번더 만나서 본격적으로 진행하기로 함.
  앞으로의 일정: 알람 소스코드 완성, pi-camera 라즈베리파이에 연결, 얼굴 opencv를 활용하여 얼굴 인식 소스코드 완성

10/24 10:00~11:00

• 제안서 수정에 관한 이야기를 함.

• 교수님이 프로젝트의 차별성에 중점을 두라고 하신 말씀을 바탕으로 시중 알람과의 차별성에 대해 생각 해봄.

――――――――――――――――――――――――――――――――――――――――――――――――――――――――

• 기존 알람 프로젝트의 문제점에 대해 생각해봄

김명진

1. 저번 제안서 발표 때, 조도센서를 왜 활용하는지에 대한 질문이 들어왔는데, 이에 대한 답변이 그리 명쾌하지 않았고, 굳이 있을 필요없는 불필요한 기능이라 생각됨 (신지환, 송지호- 동의함)

2. 시중 알람과의 차별성이 중요한 만큼, 차별할 만한 여러가지 요소들을 생각해봄.

신지환

1. 단순히 얼굴 인식을 한다면 잠에서 깼는지 파악하기 힘드므로, 얼굴에 물을 묻힌후 얼굴 인식을 하면 알림이 꺼짐 -> 세수 했음을 인식

2. 알람이 효과적일수 있는 무언가가 필요 = 벌칙
   따라서 얼굴 인식을 한후 미션을 LED Matrix에 띄워 수행하게 함
   미션 수행 -> 알람 무사히 종료 / 미션 수행 X -> 벌칙
   라즈베리파이와 휴대폰과의 통신이 가능하다. 이를 사용하여 미션을 수행하지 못하였을 시 라즈베리파이와 휴대폰이랑 통신하여 강제로 누군가에게 전화하거나 문자하게함

김명진

3. 음성인식을 사용하여 LED Matrix에 특정 문장 혹은 단어를 띄워, 이를 읽으면 알람을 종료하고, 읽지 못한다면 알람이 계속 나오게 함

송지호

1. 알람소리를 시간대 별로 나눠서 점차 듣기 싫은 소리로 바꾼다면, 일어나기에 강제성이 부여되지 않을까?
   ex) 1분-3분: 빗소리, 3분-10분: 새소리, 10분-:부부젤라 소리, 칠판긁는 소리 등 듣기 싫은 소리

2. 얼굴 인식후 미션 수행을 게임으로 구현하는건 어떨까? 일정 점수/ 조건을 넘기지 못한다면 계속 플레이하게 하는 방식을 사용해보자. 간단한 게임(공룡게임, 테트리스)을 오픈소스 코드로 구현해보자.

――――――――――――――――――――――――――――――――――――――――――――――――――――――――

• 결론
  위의 수정 제안들을 검토하여, 차별성을 강조할 방법들을 사용하여 수정 제안서를 작성하기로 함.

11/1 17:00~19:00

같이 라즈베리파이를 설치하는 과정에 잘 안되는 것과 궁금한 것을 공유함
라즈베리파이 wifi 연결 안될 때 - https://www.withover.com/2018/08/wifi.html
라즈베리파이 노트북에 hdmi 연결하여도 부팅되지 않음 - https://blog.naver.com/PostView.nhn?blogId=icbanq&logNo=221320624608&redirect=Dlog&widgetTypeCall=true&directAccess=false

• 김명진 : 라즈베리파이에 알람을 울릴 스피커가 내장되어있으면 울려보기로 함
  만약 내장스피커가 없다면 노트북에 연결하여 노트북스피커를 통해 소리 출력을 시험해본다.

• 송지호 : LEDmatrix가 아직 없기 때문에 LED matrix에 간단한 글자 띄우는 법을 배워서 다음 만남때 시험해보기

• 신지환 : 얼굴인식을 할 카메라에 필요하면서 용량이 큰 Open CV를 라즈베리파이에 다운 받아 다음 만남때 올 것!

결정 사항 : 매 주 월요일 오픈소스 수업이 끝나고 2시간정도 프로젝트 준비시간을 가진다. 다음 만남때 까지 각자 조사해온 파트를 시험해보고 성공하면 어떻게 하였는지 설명하는 시간을 가지기로 했다.