- 본 소스는 서버 코드 관련하여 제공. - !문제가 될 경우 내리겠습니다.
- 과제 유형 : PBL(Problem-Based-Learning 약칭 PBL)
- 과제 기간 : 2019.01.11. ~ 2019.01.31
- 과제 목표
- 발생한 위험 상황을 직접 볼 수 없는 시각장애인을 위하여 시각장 애인이 어플리케이션 음성인식을 통해 구동 시 어플리케이션 내 기능 인 카메라를 통해 촬영된 상황을 마이크로소프트 Azure Cloud를 사용 하여 분석하고 분석된 상황을 음성으로 어플리케이션 사용자인 시각 장애인에게 제공하는 것을 목표로 함.
- 재난 상황 및 기상 정보에 따른 재난예비정보, 특보, 상황전파 등의 정보 수신 시 신속한 확인이 어려운 시각장애인을 위하여 시각장애인 이 어플리케이션을 사용할 시 현재 발령되어 있는 재난예비경보, 기 상특보, 상황전파 등을 자신이 위치한 지역에 맞게 수신하고 음성으 로 제공하여 시각장애인의 재난 피해 예방을 목표로 함.
- 국내 외 여러 요건으로 발생하는 미세먼지 주의, 경보 횟수가 점차 늘어남에 따라 당일 미세먼지 경보를 손쉽게 알 수 있도록 미세먼지 발령 현황을 공공기관 데이터 포털에서 제공하는 API를 사용하여 저 장 후 사용자의 위치에 따라 음성으로 제공하는 것을 목표로 함.
- 과제 실행 예시
- 앱 실행 화면
=> 이용자 대상인 시각장애인을 고려하여 이용 편리성을 제공하고자 큰 로고 버튼으로 구성
-
날씨, 사람 마스크 로고를 클릭하면 Google GPS API를 사용하여 현재 위치에 맞는 지역 정보를 음성으로 제공
-
마이크 로고를 클릭하면 '카메라'를 불러서 사진을 촬영하면 이미지를 서버에 전송 후 이미지 분석하여 반환 받음으로써 사용자에게 분석 결과를 음성으로 제공
-
서버 통신 확인
=> 위와 같은 기능들 이용을 서버에서도 통신 상태 확인
-
아래 항목 순서
1. 서버/클라이언트 2. 사용 언어 및 개발 환경 3. 세부 수행 내역 4. 이미지 분석을 통한 상황 알림이
- 사용 언어: 파이썬
- 개발 환경: Microsoft Azure Claude Computer
- 사용 Open API: 재난예비특보조회 서비스(공공데이터포털 Open API) 사용자의 어플리케이션에서 현재 위치를 전송 시 해당위치에 해당되는 재난 특보를 조회하여 전송클라이언트
- 사용 Open API: 대기오염정보 조회 서비스(공공데이터포털 Open API) 사용자의 어플리케이션에서 데이터 요청 시 금일 미세먼지 상태를 조회하여 전송 서버
- 사용 Open API: Azure Storage(저장소), Computer Vision API(이미지 분석), Naver Papago NMT번역(인공신경망 기반 기계번역), 어플리케이션(클라이언트)으로 수신된 사진파일을 분석한 영어 텍스트를 한글 텍스트로 번역하여 재전송
(어플리케이션)
- 사용 언어: 자바
- 개발 환경: Android Studio
- 사용Open API: Google Speech API(TTS)
- HttpURLConnection(통신)데이터(NULL) 값을 서버로 전송, 서버로부터 수신한 미세먼지 상태 텍스트를 음성으로 제공
- 사용Open API: Google Geocoder(GPS, NET), Google Speech API(TTS)
- HttpURLConnection(통신)현재 위치를 서버로 전송, 서버로부터 수신한 재난 예비 특보 텍스트를 음성으로 제공, 미세먼지 기상 현황 음성 제공
- 사용 Open API: Google Speech API(TTS), Google Speech API(STT), Retrofit2 Library, 시각장애인의 음성을 인식하여 촬영된 사진을 서버로 전송, 서버에서 가공된 한글 텍스트를 수신하여 음성으로 제공, 재난문자 음성 제공
-
결론
- 시각장애인 보행사고 예방을 위한 생활 보조수단을 개발하는 것을 목적으로 웹 표준 기술인 REST API로 만들어진 OPEN API를 사용하 여 어플리케이션 제작하였다. -부수적인 기능으로 시각장애인이 발생한 재난상황에 대하여 신속하 게 대처할 수 없음을 생각하고 이를 음성을 통해 미리 알려주는 기능 을 구현하였다.
-
향후 계획
- 사용자 편의성 향상을 위한 기능개선
- 조금 더 원활한 동작, 앱과 통신을 위해 서버 환경을 개선할 것이다.
- 시각장애인에 입장에서 필요한 기능을 추가 할 것이다.
- 사용자 편의를 위한 디자인 구축(Android Studio UX/UI)
- 앱 제작 과정에서 UX/UI에 대한 개념 부족으로 프로젝트 진행이 매끄럽지 못 했음을 인지하고 이와 관련된 내용을 학습하고 학습된 내용을 실제 앱에 적용할 것이다.
- IOS 환경을 위한 앱 개발
- 시장 점유율에서 2번째 많은 비중을 차지하는 IOS환경에서도 구동되는 앱을 개발하여 보다 많은 사용자가 이용할 수 있도록 개발할 것이다.
- 사용자 편의성 향상을 위한 기능개선
-
활용 계획
- 벤처 창업 동아리 참고 자료 활용
- 프로젝트를 진행하면서 습득한 지식을 배경으로 공모전 및 관련 대회 참가
- 공모전을 참가하게 되면 타 과와 협업을 하여 지금보다 완성도 있는 결과물 창출이 기대된다.