ODS, DW, DM, ETL

 

- ODS : Operational Data Source

많은 양의 데이터를 정형화시켜 저장하는 공간, DW가 활용할 수 있는 임시 운영 데이터 저장,

운영계에서는 최종 데이터 형상으로 데이터를 주로 관리하기 때문에 ODS로 시계열로 변환해 이력 데이터 보관

소스 데이터를 가져와 정제, 통합, 변환된 형태로 보관하고 DW로 공급해주는 데이터 준비 공간(Operational Data Source) 

 

- DW : Data Warehouse

활용할 수 있는 형태로 만들어 저장, 관리, 분석할 수 있는 시스템

 

- DM : Data Mart

DW의 일부, 특정 분야에서 필요한 데이터들만 꺼내 저장

 

-  ETL : Extraction-Transformation-Load

ODS에서 DW, DM까지 데이터 추출, 변형, 로드 - SSIS, ODI, ESF 등의 Tool 사용, 데이터를 원천 시스템에서 추출하여 가공(변환, 정제)한 후 Data Warehouse/Data Mart에 적재하는 과정

 

*SSIS : SQL Server Integration Services

*SSMS : SQL Server Management Services

*SSDT : SQL Server Data Tools

 

(1) ODS

(2) 추출

DW/DM 시스템으로 데이터를 공급하기 위해 데이터 원천 시스템으로부터 읽어내는 과정

(3) 변환

추출된 데이터를 DW/DM 시스템으로 이동할 때 분산되어 있는 데이터와 코드 체계의 통합과 측정값을 계산하고 집계 하는 과정

(4) 적재

DW/DM 시스템의 대상 테이블로의 데이터 입력하는 과정

(5) 자동화

ETL의 전 과정을 담당자가 끝날 때까지 지켜보며 제어하는 일련의 작업을 툴이나 프로그램을 작성하여 자동화하는 처리 과정

 

 

- CDC : Change Data Capture

실시간 또는 준실시간 데이터 통합을 기반으로 하는 DW, ETL 대신 사용하기도 함.

 

 

- OLAP : Online Analytical Processing

시각화 도구, 데이터 마이닝 시스템

 

 

 

 

 

(+)

 

https://yannichoongs.tistory.com/232

ODS, DW, DM, ETL, CDC, EDW, OLAP 정리