본문 바로가기

Visualization/BI - DW5

<3. 빅데이터의 분산처리> Hadoop, Spark 이용한 데이터 처리 에서는 BI의 의미와 빅데이터를 시각화하기까지의 대략적 과정을, 에서는 데이터를 시각화하기 위한 데이터 마트 준비 과정을 살펴보았습니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 시각화(BI)하기 위한 데이터 준비 빅데이터를 시각화(BI)하기까지의 과정에 이어 작성합니다. 빅데이터를 시각화(BI)하기까지의 과정 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 5ohyun.tistory.com 1. 데이터의 구조 먼저 데이터의 구조를 나눠서 본다면 구조화 데이터와 비구조화.. 2023. 5. 21.
<2. 빅데이터의 탐색> 시각화(BI)하기 위한 데이터 마트 준비 BI의 의미와 데이터를 시각화하기까지의 간략한 과정 설명에 이어 작성합니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 1. BI 도구로 집계하기 (데이터 마트의 필요) 2. 집계 효율을 높일 수 있는 데이터베이스 구조 3. 데이터 마트의 과거 4. 거대한 하나의 팩트 테이블인 비정규화 테이블 5. 다차원 모델 1. BI 도구로 집계하기 (데이터 마트의 필요) BI 도구는 크로스 집계 방식으로 많은 양의 데이터를 집계하고 보고서로 한눈에 요약해서 볼 수 있도록 도와주는 역할을 합니다. 엑셀의 피벗 테이블 기능으.. 2023. 4. 23.
<1. 빅데이터의 기초 지식> BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. BI 엔지니어로 일하면서도 한동안 BI라는 것이 무엇인지 뚜렷하게 가늠이 안잡혔기에 기업에서는 왜 빅데이터를 수집하고 BI 시각화를 하고자 하는지, 어떻게 사용하고 관리하는지에 대해 책을 바탕으로 정리하며 작성해보고자 합니다. 1. BI란 무엇일까요? 2. BI 도구 VS. Dashboard 도구 3. 데이터 디스커버리 (Self Service BI 도구) 4. BI를 하기 위해서는 무엇이 필요할까요? 5. 수집부터 BI까지의 데이터 파이프라인 1. BI란 무엇일까요? 먼저, 기업이 데이터를 수집하는 목적으로는 3가지를 .. 2023. 3. 26.
[seaborn] Color palette seaborn color 팔레트 (예시) heatmap, pie, barh, countplot, distplot 1. autumn_r - heatmap import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline # data = fig, ax = plt.subplots(figsize=(16,16)) ax = sns.heatmap(data.corr(),annot=True,fmt='.2f',cmap="autumn_r") 2. PRGn - heatmap 3. Set3 - pie, stacked barh 전체 sns plot 팔레트 설정 sns.set_palette("Set3") plt.subplots(figsize = (8,8)) plt.p.. 2021. 7. 22.
[nbviewer] jupyter notebook 사이트 내 표시 포트폴리오 사이트들을 찾아보니 다들 웹 사이트 내에서 바로 쥬피터노트북이 보이게 잘 설정하던데 그 방법을 못찾아서 깃허브 블로그를 써야하나 고뇌에 빠졌다가... 근데 아주 쉽게 해결되는 방법을 찾아 당황 wix를 사용해 포트폴리오 사이트 제작, 만들어 놓은 jupyter notebook을 웹에서 바로 보길 원한다. 1. 공유하고자 하는 쥬피터 노트북의 raw 코드를 복사 - 붙여넣기한다. ( github에 업로드 후 보이는 raw 버튼을 눌러 모두 복사 - 붙여넣기 ) 2. 전체 코드를 해당 사이트의 코드 부분에 붙여넣고 이름은 마음대로 지어준 후, create 버튼 클릭 https://gist.github.com/ Discover gists GitHub Gist: instantly share code,.. 2021. 7. 21.

티스토리툴바