Data Engineering

 

 

 

 

- 데이터 엔지니어는 데이터 사이언티스트와 협업하는 업무

 

(1) 수집, 가공, 저장

 

1. 서비스들에서 나오는 수많은 데이터들을 수집하기 위해서 데이터 파이프라인을 설계, 구축함

2. 쉽게 사용할 수 있도록 가공처리, 데이터에 따라 스트리밍 및 배치 처리 작업

- 스트리밍 데이터 수집기 : logstash, fluentd, MQ(Kafka, rabbitMQ), Redis

- 스트리밍 데이터 가공 : storm, flink, spark streaming

- 해당 처리를 하는 환경에서는 프로그래밍 필요 : python, Scala, java 등

- 저장 : HDFS, AWS A3, GCP(Google Cloud Platform), RDB, Google Bigquery

 

(2) 분석

Hadoop, Spark, Hive, Visualization Tool (Self service BI 환경 개발)

 

(3) 조회

MySQL, MongoDB 등의 DB

 

(4) 대시보드 

Tableau

MLflow

 

(5) Devops

Github

Docker

Kubernetes

 

(6) Cloud

AWS, GCP, Azure

 

 

 

 

 

 

 

 

https://brunch.co.kr/@13335218e68a4e8/96

[채용공고 톺아보기] #6 데이터 엔지니어란?

 

https://kadensungbincho.tistory.com/25

데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건)

https://tech.kakao.com/2020/11/30/kakao-data-engineering/

데이터 엔지니어링이란

https://velog.io/@dlawlrb/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4-%EB%A1%9C%EB%93%9C%EB%A7%B5%EC%9D%84-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90

데이터 엔지니어 로드맵을 알아보자!

https://github.com/datastacktv/data-engineer-roadmap

GitHub - datastacktv/data-engineer-roadmap: Roadmap to becoming a data engineer in 2021

https://github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4

GitHub - Team-Neighborhood/I-want-to-study-Data-Science: 데이터 사이언스를 공부하고 싶은 분들을 위한 글

 

https://github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4

GitHub - Team-Neighborhood/I-want-to-study-Data-Science: 데이터 사이언스를 공부하고 싶은 분들을 위한 글