TL;DR

Software Engineer of Quantec, Inc (2019~2021)
Data Engineer of Humaxmobiltiy (2021~)

Tech & Skiils

kafka streaming, Kubernetes, airflow, Pyspark, DB, Dynamic Pricing

국내/해외 market price/ fundamental DB 구축 및 운영
mssql -> mysql Data migration
Proc Data pipe line
HA solution Setting : mha 를 통한 mariaDB server 이중화 구성
OLTP, OLAP
DB 백업, 복구, 성능 모니터링/진단/튜닝 담당
S3 Staging DW data --> Snowflake Migration (S3 Load 기반 load engine --> distributed engine Upgrade ) 초당 5000건 이상 조회시 부하 및 대규모 Data 에 EMR service 사용보다 좀 더 효율적이고 현재 비용에서 30% 저렴한 Snowflake 를 사용하는 것이 옳은 것 같다라는 판단 +@ 각 계열사간 snowflake 같은 region 간 data share 시 무료 및 cross-cloud Data share 가능, db transaction history 를 통해 언제든 어떠한 버전으로 복구가능 +@ Market 을 통한 Data 판매 가능
pySpark Performance Tuning ( DataSkewness --> repartition & boardcasting join & Salted key & caching )

KT Cloud & FSDC(private) server setting
정보계/계정계 개발 서버 운영
server 접근 제어 솔루션(Hiware)
On-premise 환경에서 Cloud 환경 migration
AWS architecture (Infra, MWAA, kafka) -> ( Lambda, kafka, EKS, Airflow, Snowflake, Tableau & Quicksight )
Humax Data Lake 구축 및 Pipeline 구성 후 DW/DM 및 Visualization
계열사 otoplug (kafka -> S3 Sink Connector -> Airflow -> Glue, Athena, tableu & QuickSight ) - 차량장비데이터 sensor, cycle, trip 등
계열사 Raidea {Carplat, Peoplecar} (Airflow -> ETL, EMR, Glue, Athena, tableu & QuickSight ) - 카셰어링데이터
계열사 humax_EV {station, charge, sales Static Data } ( elastic search - lambda trigger) - 전기차관련데이터, 충전소데이터, user, sales data 등등
계열사 AJ_parking, Car123 ( Mongo - airflow - snowflake - tableau ) - 주차장데이터, 차량정비데이터, 주차관제데이터
Financial Data Dynamic Pricing ( kafka - snowflake - kubeflow - jupyter - 충전기시스템API )
준실시간 EV 충전기 이상탐지 및 알람 ( kibana - Lambda - AWS SNS )
EKS usage monitoring ( Prometheous & Grafana, k9s )

Daily news data Polarity Detection(극성분석) & 투자성향별 포트폴리오
TESTBED : 코스콤 로보어드바이저 국내/해외 주식 관리
Humax mobility Data analysis platform
EC2 기반 Airflow --> EKS Airflow k8sPodOperator Migration 및 function distribute system
거점별 Dynamic Pricing Policy Model 개발
- 거점별(주차장) 충전기 가격 최적화: 최근 충전량을 바탕으로 거점별 충전기 가격과 지역별 전기차 대수 간 유사성 분석을 통해 두 개의 시계열 데이터를 바탕으로 가동률을 측정하고, 예측치에 대한 평가지표는 평균 절대 백분율 오차(MAPE) 10% 미만인 모델로, DTW알고리즘을 통해 두 시계열 데이터의 유사성(거리)을 측정하여, 그 거리가 최소화되는 wraping(뒤틀림)을 찾아 탄력적으로 변화시키는 가격 전략을 개발 (실제 운영에서는 반영 안됨. 거점별 계약관련 issue 로 분석으로 종료)
EV 충전 Ad-hoc 분석 이상탐지(2021.11)
- 1분 미만 charging 및 plugged 상태에서 미세 잔류 충전으로 결제없이 충전이 가능하다는 사실을 인지하여 해당 Issue 발생시 사용자 Alarm 처리 (현재는 해당 issue 해결된 것으로 인지)
충전사업자 요금정책 backtest
- 월별 거점당 충전사업자 요금정책 1,2,3,4 를 계산하여 현재 충전사업자 요금정책 중 어떤 정책이 비용이 가장 적게 나오는지 backtest 하여 service dashboard 제공