Data Engineering
- 데이터 엔지니어는 데이터 사이언티스트와 협업하는 업무 (1) 수집, 가공, 저장 1. 서비스들에서 나오는 수많은 데이터들을 수집하기 위해서 데이터 파이프라인을 설계, 구축함 2. 쉽게 사용할 수 있도록 가공처리, 데이터에 따라 스트리밍 및 배치 처리 작업 - 스트리밍 데이터 수집기 : logstash, fluentd, MQ(Kafka, rabbitMQ), Redis - 스트리밍 데이터 가공 : storm, flink, spark streaming - 해당 처리를 하는 환경에서는 프로그래밍 필요 : python, Scala, java 등 - 저장 : HDFS, AWS A3, GCP(Google Cloud Platform), RDB, Google Bigquery (2) 분석 Hadoop, Spark, H..
2022. 11. 16.