최신 글
-
[Linux] Crontab 태블로 백업 스케줄 설정
태블로 대시보드를 개발해 게시, 관리, 운영하는 경우에 주로 태블로 서버라는 것을 사용합니다.서버가 정상적으로 운영되어야 만든 대시보드를 게시할 수 있기에 서버를 잘 관리하고 확인하는 것 또한 태블로 개발자에게는 필수적인데요. 얼마 전에 새로 시작한 프로젝트가 있어 서버의 디스크 용량, 메모리 확인, 그리고 백업은 잘 되고 있는지 확인을 해보았습니다. 서버는 Linux - 우분투이며 한 달 전에 담당자가 서버 업그레이드를 진행했는데 확인해보니 그 과정에서 자동으로 백업이 실행될 수 있도록 걸어둔 스크립트가 사라진 상태임을 확인했습니다. 한 달동안 서버 백업이 안되고 있던 건데, 그래서 급하게 백업 스케줄을 거는 크론탭 명령어를 작성하게 되었습니다. 1. 크론탭 Crontab 먼저 크론탭이란 리눅스에서 주..
2024.03.15
-
2023 하반기 회고
0. 생각 2월에 들어선 지금에서야 작년 하반기 회고를 하기에는 많이 늦은 감이 있지만 2023년 10월부터 올해 1월 말까지 진행한 하반기 프로젝트를 상반기 회고 와 비교해보면 좋을 것 같아 제목을 정했다. 상반기 회고때 했던 프로젝트가 작년이 아닌 재작년처럼 느껴지는 등 시간 감각이 사라진 것 같다. 이번 프로젝트동안은 하루가 너무 빠르게 가서 화장실도 못가며 일을 붙잡고 있었는데 고작 4개월의 시간이었다니. 알차게 보냈다는 뜻일까? 오히려 좋은 걸지도 모르겠다. 돌이켜보면 그렇게 바쁘지 않아도 되었을 것 같은데 왜인지 그 때는 정말 정말 바빴다. 이렇게 온전한 글을 쓰기 위해 앉아있는 것도 오랜만인데 KPT 회고 방식을 통해 돌이켜보고자 한다. 1. 커리어 (KPT 회고) K : 좋았던 점과 유지하..
2024.02.17
-
[SQL] LEFT JOIN, UNION ALL, WITH
작년 10월부터 시작해서 약 4개월 동안 현재 진행중인 프로젝트로 정신없게 보내고 있다. 투입되고 정말 단 하루도 안 바쁜 적이 없었던 것 같은데 이번 프로젝트는 많은 삽질(?)이 동반되었기에 프로젝트가 마무리되면 이후에 회고해보면 좋을 것 같다. 그 전에 프로젝트에서 사용하고 있는 주요 SQL문과 사용 이유를 한번 정리해두고자 한다. ( Oracle, PostgreSQL을 병행해 사용중입니다 ) 1. LEFT OUTER JOIN 먼저 데이터 마트는 팩트 테이블을 중심으로 여러 디멘젼 테이블을 결합하는 형식으로 사용한다. ( 팩트 테이블은 트랜잭션과 유사하게 사실이 기록된 것이며 집계가 되도록 숫자 데이터로 이루어져있는 테이블, 디맨젼 테이블은 참고되는 마스터 데이터로 데이터를 분류하기 위한 속성값으로 ..
2024.01.21
-
[글또 9기] 다시 시작하는 2주에 한번 글쓰기!
2023.02.11 - [Career/Thinking] - [글또 8기] 개발자 글쓰기 모임 [글또 8기] 개발자 글쓰기 모임 글또란? 글쓰는 또라이가 세상을 바꾼다!는 의미의 개발자 글쓰기 모임인 글또 8기에 참여하게 되었다. '개발자들의 글쓰기 역량을 강화하고, 글을 꾸준히 쓸 수 있도록 돕는 커뮤니티' 이며 예 5ohyun.tistory.com 2023.07.13 - [Career/Thinking] - 2023 상반기 회고
2023.12.10
-
2023 상반기 회고
0. 생각 벌써 23년 7월이라니. 22년 말 회고를 작성할 때 한 해가 비교적 천천히 흐른 것 같다고 했는데 6개월이 지났다고 이렇게 시간의 흐름을 다르게 느낄 수 있는 걸까? 얼마 전 팀장님께 "입사한 지 2년으로 향하고 있다는 게 믿기지가 않아요. 떠올려보면 크게 한 게 없는 것 같은데.." 라고 했을 때, 나이가 들수록 점점 모든 게 익숙해지고 큰 자극으로 다가오지 않아서 시간이 빨리 가는 것처럼 느끼는 거라고 말씀해주셨다. 그 말을 듣고 찾아본 나이가 들수록 시간이 빠르게 가는 이유. 지난 일에 대한 기억이 많이 남아있지 않아 상대적으로 짧게 느끼는 거라고 한다. 뇌는 매일 반복되는 것에는 크게 반응하지 않기 때문에 인상깊은 일이 줄어들어 빠르게 지나간 것처럼 느끼고, 하나 하나 새롭던 어린 순..
2023.07.13
-
[Tableau] 대시보드 성능 개선
대시보드를 만들다보면 다양한 차트들이 올라가면서 부득이하게 화면 로딩에 많은 시간이 걸리는 상황이 생깁니다. 그래서 속도 개선에 대한 문제도 함께 생각하게 되는데요. 속도와 Deep한 대시보드 기능 구현은 Trade-Off 관계로 클릭 동작이나 자세한 정보를 조회하고자 할수록 로딩시간은 늘어나기 마련입니다. 다양한 대시보드 툴 중에 Tableau를 통해 살펴보도록 하겠습니다. 대시보드를 로딩하는 시간은 보고자 하는 뷰어의 목적에 따라 다르게 나눌 수 있습니다. 일반적인 뷰어는 5초 이내, 비즈니스 관련 뷰어들은 10~ 30초 이내, 딥한 데이터 분석 용도로 쓰는 경우엔 1분 정도의 로딩 시간이 적절하다고 합니다. 그렇다면 대시보드를 조회할 때 어디에서 시간이 소요되고 어떤 부분에서 시간을 줄일 수 있을까..
2023.06.14
-
<3. 빅데이터의 분산처리> Hadoop, Spark 이용한 데이터 처리
에서는 BI의 의미와 빅데이터를 시각화하기까지의 대략적 과정을, 에서는 데이터를 시각화하기 위한 데이터 마트 준비 과정을 살펴보았습니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 시각화(BI)하기 위한 데이터 준비 빅데이터를 시각화(BI)하기까지의 과정에 이어 작성합니다. 빅데이터를 시각화(BI)하기까지의 과정 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 5ohyun.tistory.com 1. 데이터의 구조 먼저 데이터의 구조를 나눠서 본다면 구조화 데이터와 비구조화..
2023.05.21
-
<2. 빅데이터의 탐색> 시각화(BI)하기 위한 데이터 마트 준비
BI의 의미와 데이터를 시각화하기까지의 간략한 과정 설명에 이어 작성합니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 1. BI 도구로 집계하기 (데이터 마트의 필요) 2. 집계 효율을 높일 수 있는 데이터베이스 구조 3. 데이터 마트의 과거 4. 거대한 하나의 팩트 테이블인 비정규화 테이블 5. 다차원 모델 1. BI 도구로 집계하기 (데이터 마트의 필요) BI 도구는 크로스 집계 방식으로 많은 양의 데이터를 집계하고 보고서로 한눈에 요약해서 볼 수 있도록 도와주는 역할을 합니다. 엑셀의 피벗 테이블 기능으..
2023.04.23