도전을 즐기며, 경험을 기록하는 개발자 김민준입니다.
✔️ Introduction
💡
✔︎ 학생 스타트업을 운영하면서 데이터의 가치에 매력을 느껴 데이터 개발자를 목표로 공부하고 있습니다.
✔︎ 데이터와 관련된 문제를 정의하고 이를 해결하는 적절한 기술을 찾는 것에 관심이 많습니다.
✔︎ 새로운 것에 도전을 통해 배운 것을 Github와 Notion에 경험을 기록하고 있습니다.
📢 Self PR
🖥 사내 데이터 플랫폼 서버 개발 및 운영 경험
- 네이버웹툰 DataOps Engineer로 사내 하둡 데이터 플랫폼을 기반한 분석 서비스 운영을 위해 인증정보시스템 백엔드 서버 개발 업무를 진행했습니다.
- 인증정보시스템 내 기밀정보 저장을 위해 암호화 프로세스를 기획했으며, 캐싱 적용을 통해 성능 개선에 기여했습니다.
- Superset 운영 자동화를 위해 Kubernetes API 서버를 구축을 통해 Superset 인스턴스 생성, 삭제, 버전 업데이트 기능을 제공하여 기존에 서비스 운영을 위해 사용된 시간과 리소스에 절약에 기여했습니다.
- 개발과정에 단위테스트 적용 및 Github Action을 사용하여 코드 PR 시 자동으로 테스트 할 수 있는 CI 파이프라인을 구축했습니다.
- 배포 전 부하 테스트를 통해 서비스 성능을 확인하였으며 사내 리얼망 서버에 배포 및 운영하여 장애대응 등의 운영과정에 발생하는 업무를 경험했습니다.
💡 오픈소스 기반 데이터 플랫폼 구축 경험
- 게임 회사 데이터 인프라팀 Data Engineer로서 쿠버네티스상에 Hadoop 기반의 빅데이터 플랫폼 구축 경험을 통해 데이터 플랫폼의 기반이 되는 Hadoop 기술에 대한 이해를 높일 수 있었습니다.
- 빅데이터 플랫폼에 서비스 계정 단위의 Kerberos 보안적용을 통해 빅데이터 보안 플랫폼 구축을 경험했습니다.
- 데이터 처리를 위한 다양한 기술을 경험하기 위해 Kafka, Spark, Airflow 등을 학습하고 이를 개인프로젝트에 적용하여 대용량 데이터 처리 파이프라인 구축을 경험했습니다.
🙋🏻♂️ 문제해결을 위한 커뮤니케이션 능력 및 유연한 사고
- 스타트업 창업을 통해 회사 대표, 기획자, 데이터 분석가를 지나 개발자까지 다양한 직무 경험을 통해 여러 직군의 구성원 분들과 상대방의 입장을 이해하고 커뮤니케이션에 강점이 있습니다.
- 문제해결에 몰입하여 이를 해결하는 다양한 방법을 찾기 위해 기술 리서치를 통한 기술적 해결 방법 고민하는 것은 물론, 기술이 아닌 운영, 정책 등 더 효과적인 해결책이 없는지 고민하고 관련 구성원과 커뮤니케이션을 통해 문제해결에 최적의 해결책을 찾는 부분에 강점이 있습니다.
📈 빠른 성장을 위한 끊임없는 노력
- 데이터 개발자를 목표로 약 2년이라는 짧은 시간 동안 그 누구보다도 빠르게 성장하며, 저의 가치를 증명해 내고 있습니다.
- 문제 해결에 더 효과적인 해결 방법을 고민하기 위해 기술적 Background를 넓히고자 평일 저녁, 주말 모두 개인 성장을 위해 노력합니다.
- 최근에는 개발 언어 다양화를 위해 Java, Go를 개인적으로 학습 및 프로젝트에 적용하며 기술적 성장을 하고 있습니다.
💼 Career
📌 네이버 웹툰 - DataOps Enginner
- 2023.01 ~ 2023.07
- 사내 서비스 인증정보시스템 개발
- Superset 운영 자동화
- 주요 업무 내용
- 인증정보시스템 API 서버 개발(Flask)
- 인증정보 암호화 기능 개발
- Hadoop Kerberos Keytab API 개발
- 사내 리얼망 배포(k8s Helm Chart) 및 운영
- Superset 운영 자동화 API 개발
📌 스마일게이트 스토브 - Data Enginner
- 2022.09 ~ 2022.12
- 빅데이터 보안 플랫폼 구축
- 기술 : Hadoop, Kerberos, Docker, k8s
- 주요 업무 내용
- 쿠버네티스 상 빅데이터 플랫폼 구축
- 빅데이터 플랫폼 Kerberos 보안 적용
📌 데이터사이언스랩 - Bankend Engineer
- 2022.07 ~ 2022.09
- 데이터 분석 도구 개발
- 기술 : Django, Elasticsearch
- 주요 업무 내용
- SNS 데이터 분석 도구 개발
🧑💻 Dev Projects
📌 Python-FastApi로 개발된 스토어 플랫폼 Java-Spring boot 이전 Link!!
- Springboot, MySQL, Azure, rabbitMQ 기존 파이썬 웹 프레임워크로 실무를 진행하는 과정에서 자바 웹 프레임워크 학습의 필요성을 경험했습니다. 빠른 학습을 위해 FastApi로 진행한 개인 프로젝트를 Spring boot로 이전하는 프로젝트를 진행했습니다. 기존에 진행한 프로젝트로 전반적인 프로젝트 이해를 바탕으로 Spring boot의 개발 특성을 고려하여 하나씩 작업을 진행했습니다. 이 과정에서 비즈니스 로직과 서비스 조직을 명확하게 구분하는 부분 등 기존에 파이썬으로 개발하는 것과 분명한 차이가 있어 어려움이 있었지만, 하나씩 배우고 적용하며 성장했습니다.
📌 nGrinder를 활용한 Python vs Go API 서버 성능 부하테스트 Link!!
- Flask, Go, Docker, nGrinder, MySQL HTTP 요청을 받는 서버, DB를 처리하는 서버를 Python Flask와 Go로 각각 서버를 구축하여 nGrinder를 활용해 성능 부하 테스트를 진행했습니다. 1차 테스트 결과 Python이 Gunicorn을 사용하여 동시 요청을 효과적으로 처리하여 Go보다 성능이 뛰어남을 확인했습니다. 다만, Go의 경우 기본적인 세팅만 진행했지만, 예상보다 높은 TPS를 보여 동시성 처리를 위한 기능 개선을 진행한 2차 테스트를 진행하면 Python 서버보다 높은 성능을 보일 것으로 확인했습니다.
📌 [졸업논문] 기계학습 접근법을 통한 RC 보-기둥 접합부의 손상 수준 예측 모델 개발 Link!!
- Pandas, Scikit-learn, Seaborn 졸업논문으로 지진 발생 시 건물의 손상 수준을 경험식으로만 예측하는 것을 개선하기 위해 머신러닝 모델을 적용하는 연구를 수행했습니다. 건축공학 분야에서 인공지능의 적용이 드문 사례였고, 이를 통해 새로운 연구 방향성을 제시하여 공과대학 학장상을 수상하는 성과를 이뤄냈습니다. 최근에 이전 진행한 ML 프로젝트를 DVC, MLflow를 활용하여 데이터 버전 관리 및 머신러닝 파이프라인을 구축하는 프로젝트를 수행하고 있습니다.
📌 커플 데이터 장소 검색 챗봇 Link!!
- Flask, MySQL, Spark, Kafka 네이버 검색 API와 카카오 챗봇를 통해 커플 데이트 장소를 검색하는 서비스를 구축했습니다. 수집한 데이터를 S3에 저장 후 변환과정을 거쳐 RDS에 저장하는 데이터 파이프라인을 구축했습니다. 또한 이 과정에서 Spark를 활용한 데이터 처리와 장소 데이터, 블로그 데이터를 분산 처리하기 위해 Kafka를 활용했습니다.
👬 Etc Projects
📌 Zero Plastic(카페거리)
- With Corona 카페 정보 플랫폼
- [해, 커리어] 원티드 해커톤
- 팀 대표, 서비스 기획 참여
- 해커톤 본선 진출
📌 Social Ground
- 사회적 가치 활동 인증 앱 서비스
- 학생 스타트업(대표, 서비스 기획)
- 학생 스타트업 후속 프로젝트
- 한국사회적기업진흥원 소셜벤처 대학동아리 선정
- 서비스 개발 진행 중 종료
📌 가치를 더함
- 사회적 가치를 가진 활동 정보를 반응형 웹앱 서비스에 제공하는 서비스
- 학생 스타트업(대표, 서비스 기획)
- 회사 설립(더함)
- 정부지원사업 예비창업패키지 선정(4,000만원)
- 서비스 배포 및 운영
