본문 바로가기

Visualization22

[Tableau] 대시보드 성능 개선 대시보드를 만들다보면 다양한 차트들이 올라가면서 부득이하게 화면 로딩에 많은 시간이 걸리는 상황이 생깁니다. 그래서 속도 개선에 대한 문제도 함께 생각하게 되는데요. 속도와 Deep한 대시보드 기능 구현은 Trade-Off 관계로 클릭 동작이나 자세한 정보를 조회하고자 할수록 로딩시간은 늘어나기 마련입니다. 다양한 대시보드 툴 중에 Tableau를 통해 살펴보도록 하겠습니다. 대시보드를 로딩하는 시간은 보고자 하는 뷰어의 목적에 따라 다르게 나눌 수 있습니다. 일반적인 뷰어는 5초 이내, 비즈니스 관련 뷰어들은 10~ 30초 이내, 딥한 데이터 분석 용도로 쓰는 경우엔 1분 정도의 로딩 시간이 적절하다고 합니다. 그렇다면 대시보드를 조회할 때 어디에서 시간이 소요되고 어떤 부분에서 시간을 줄일 수 있을까.. 2023. 6. 14.
<3. 빅데이터의 분산처리> Hadoop, Spark 이용한 데이터 처리 에서는 BI의 의미와 빅데이터를 시각화하기까지의 대략적 과정을, 에서는 데이터를 시각화하기 위한 데이터 마트 준비 과정을 살펴보았습니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 시각화(BI)하기 위한 데이터 준비 빅데이터를 시각화(BI)하기까지의 과정에 이어 작성합니다. 빅데이터를 시각화(BI)하기까지의 과정 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 5ohyun.tistory.com 1. 데이터의 구조 먼저 데이터의 구조를 나눠서 본다면 구조화 데이터와 비구조화.. 2023. 5. 21.
<2. 빅데이터의 탐색> 시각화(BI)하기 위한 데이터 마트 준비 BI의 의미와 데이터를 시각화하기까지의 간략한 과정 설명에 이어 작성합니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 1. BI 도구로 집계하기 (데이터 마트의 필요) 2. 집계 효율을 높일 수 있는 데이터베이스 구조 3. 데이터 마트의 과거 4. 거대한 하나의 팩트 테이블인 비정규화 테이블 5. 다차원 모델 1. BI 도구로 집계하기 (데이터 마트의 필요) BI 도구는 크로스 집계 방식으로 많은 양의 데이터를 집계하고 보고서로 한눈에 요약해서 볼 수 있도록 도와주는 역할을 합니다. 엑셀의 피벗 테이블 기능으.. 2023. 4. 23.
<1. 빅데이터의 기초 지식> BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. BI 엔지니어로 일하면서도 한동안 BI라는 것이 무엇인지 뚜렷하게 가늠이 안잡혔기에 기업에서는 왜 빅데이터를 수집하고 BI 시각화를 하고자 하는지, 어떻게 사용하고 관리하는지에 대해 책을 바탕으로 정리하며 작성해보고자 합니다. 1. BI란 무엇일까요? 2. BI 도구 VS. Dashboard 도구 3. 데이터 디스커버리 (Self Service BI 도구) 4. BI를 하기 위해서는 무엇이 필요할까요? 5. 수집부터 BI까지의 데이터 파이프라인 1. BI란 무엇일까요? 먼저, 기업이 데이터를 수집하는 목적으로는 3가지를 .. 2023. 3. 26.
[Tableau] Server / Cloud 비교 및 Tableau Bridge 다양한 기업에서 비즈니스 데이터 시각화를 진행하고 있으며 그 중에서도 Tableau가 시각화 툴로 많이 사용됩니다. 엑셀파일이나 다양한 DB와의 연결이 대부분 가능하며 Tableau Desktop을 이용해 대시보드를 제작합니다. Desktop은 마이너를 포함한다면 거의 매달 버전이 업그레이드 되며 로컬 컴퓨터에 다운로드 받아 이용할 수 있습니다. 기업의 데이터를 통해 만든 대시보드는 파워포인트 발표자료처럼 확인할 수도 있지만 Tableau에서 추가 비용으로 제공하는 기능인 Tableau Server나 Tableau Cloud에 게시해 회사 구성원들이 함께 확인할 수 있도록 합니다. 이번 글에서는 태블로를 사용하고자 할 때 데이터 환경에 따라 선택하는 기능과 Tableau Bridge 기능을 알아보고자 합.. 2023. 2. 25.
[Tableau] Chart Examples https://www.vizwiz.com/2022/10/chart-chooser.html#chartguide Which chart type should you use? I get asked quite often how I know which chart to choose and when. There are lot of times now when I don't really think about it, but that b... www.vizwiz.com https://public.tableau.com/app/profile/kevin.flerlage/viz/TheTableauChartCatalog/TableauChartExamples The Tableau Chart Catalog The Tableau Chart.. 2022. 10. 31.
[Tableau] vworld 배경 맵 설정하기 Tableau와 vworld 배경 맵 설정하기 0. vworld 맵을 제공하고 있는 지도서비스 vworld는 WMS 표준을 지원하지 않고 Mapbox 맵이 아닌 경우라 TMS(Tableau Map Service)에서 연결을 만들어 맵 서버에 연결할 수 있음 https://map.vworld.kr/map/maps.do 공간정보 오픈플랫폼 지도서비스 국가가 보유하고 있는 공개 가능한 공간정보를 모든 국민이 자유롭게 활용할 수 있도록 다양한 방법을 제공합니다. map.vworld.kr 수많은 .png 파일들 중 하나의 링크 주소를 copy해보면 형식으로 출력됨 1. 아래의 XML을 .tms 확장명.. 2022. 3. 23.
Tableau Server Meta data 1. Tableau Server 리포지토리 - 태블로 서버 리포지토리는 모든 사용자들의 상호 작용, 추출 새로 고침 등에 대한 데이터를 저장하는 PostgreSQL DB - 리포지토리에 접근해 데이터를 통해 태블로 서버 성능 분석 및 파악 가능, 사용자 활동, 통합문서 활동 추적 - 리포지토리 데이터로 뷰 생성 가능 (a.k.a 사용자 지정 관리 뷰) 2. 리포지토리 접근 방법 Tableau Desktop 사용하면 2개의 기본 제공 사용자로 접근 가능 tableau : 태블로 서버 작업 분석 시 여러 DB View에 접근 가능 readonly : 심화 분석을 위한 뷰를 만들기 위해 DB Table에도 접근 가능 (1) 리포지토리 연결 전, readonly 사용자 DB 접근 설정 필요 tsm data-ac.. 2022. 2. 7.
[seaborn] Color palette seaborn color 팔레트 (예시) heatmap, pie, barh, countplot, distplot 1. autumn_r - heatmap import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline # data = fig, ax = plt.subplots(figsize=(16,16)) ax = sns.heatmap(data.corr(),annot=True,fmt='.2f',cmap="autumn_r") 2. PRGn - heatmap 3. Set3 - pie, stacked barh 전체 sns plot 팔레트 설정 sns.set_palette("Set3") plt.subplots(figsize = (8,8)) plt.p.. 2021. 7. 22.
[nbviewer] jupyter notebook 사이트 내 표시 포트폴리오 사이트들을 찾아보니 다들 웹 사이트 내에서 바로 쥬피터노트북이 보이게 잘 설정하던데 그 방법을 못찾아서 깃허브 블로그를 써야하나 고뇌에 빠졌다가... 근데 아주 쉽게 해결되는 방법을 찾아 당황 wix를 사용해 포트폴리오 사이트 제작, 만들어 놓은 jupyter notebook을 웹에서 바로 보길 원한다. 1. 공유하고자 하는 쥬피터 노트북의 raw 코드를 복사 - 붙여넣기한다. ( github에 업로드 후 보이는 raw 버튼을 눌러 모두 복사 - 붙여넣기 ) 2. 전체 코드를 해당 사이트의 코드 부분에 붙여넣고 이름은 마음대로 지어준 후, create 버튼 클릭 https://gist.github.com/ Discover gists GitHub Gist: instantly share code,.. 2021. 7. 21.

티스토리툴바