본문 바로가기

Archive102

[Linux] Crontab 태블로 백업 스케줄 설정 태블로 대시보드를 개발해 게시, 관리, 운영하는 경우에 주로 태블로 서버라는 것을 사용합니다.서버가 정상적으로 운영되어야 만든 대시보드를 게시할 수 있기에 서버를 잘 관리하고 확인하는 것 또한 태블로 개발자에게는 필수적인데요. 얼마 전에 새로 시작한 프로젝트가 있어 서버의 디스크 용량, 메모리 확인, 그리고 백업은 잘 되고 있는지 확인을 해보았습니다. 서버는 Linux - 우분투이며 한 달 전에 담당자가 서버 업그레이드를 진행했는데 확인해보니 그 과정에서 자동으로 백업이 실행될 수 있도록 걸어둔 스크립트가 사라진 상태임을 확인했습니다. 한 달동안 서버 백업이 안되고 있던 건데, 그래서 급하게 백업 스케줄을 거는 크론탭 명령어를 작성하게 되었습니다. 1. 크론탭 Crontab 먼저 크론탭이란 리눅스에서 주.. 2024. 3. 15.
2023 하반기 회고 0. 생각 2월에 들어선 지금에서야 작년 하반기 회고를 하기에는 많이 늦은 감이 있지만 2023년 10월부터 올해 1월 말까지 진행한 하반기 프로젝트를 상반기 회고 와 비교해보면 좋을 것 같아 제목을 정했다. 상반기 회고때 했던 프로젝트가 작년이 아닌 재작년처럼 느껴지는 등 시간 감각이 사라진 것 같다. 이번 프로젝트동안은 하루가 너무 빠르게 가서 화장실도 못가며 일을 붙잡고 있었는데 고작 4개월의 시간이었다니. 알차게 보냈다는 뜻일까? 오히려 좋은 걸지도 모르겠다. 돌이켜보면 그렇게 바쁘지 않아도 되었을 것 같은데 왜인지 그 때는 정말 정말 바빴다. 이렇게 온전한 글을 쓰기 위해 앉아있는 것도 오랜만인데 KPT 회고 방식을 통해 돌이켜보고자 한다. 1. 커리어 (KPT 회고) K : 좋았던 점과 유지하.. 2024. 2. 17.
[SQL] LEFT JOIN, UNION ALL, WITH 작년 10월부터 시작해서 약 4개월 동안 현재 진행중인 프로젝트로 정신없게 보내고 있다. 투입되고 정말 단 하루도 안 바쁜 적이 없었던 것 같은데 이번 프로젝트는 많은 삽질(?)이 동반되었기에 프로젝트가 마무리되면 이후에 회고해보면 좋을 것 같다. 그 전에 프로젝트에서 사용하고 있는 주요 SQL문과 사용 이유를 한번 정리해두고자 한다. ( Oracle, PostgreSQL을 병행해 사용중입니다 ) 1. LEFT OUTER JOIN 먼저 데이터 마트는 팩트 테이블을 중심으로 여러 디멘젼 테이블을 결합하는 형식으로 사용한다. ( 팩트 테이블은 트랜잭션과 유사하게 사실이 기록된 것이며 집계가 되도록 숫자 데이터로 이루어져있는 테이블, 디맨젼 테이블은 참고되는 마스터 데이터로 데이터를 분류하기 위한 속성값으로 .. 2024. 1. 21.
[글또 9기] 다시 시작하는 2주에 한번 글쓰기! 2023.02.11 - [Career/Thinking] - [글또 8기] 개발자 글쓰기 모임 [글또 8기] 개발자 글쓰기 모임 글또란? 글쓰는 또라이가 세상을 바꾼다!는 의미의 개발자 글쓰기 모임인 글또 8기에 참여하게 되었다. '개발자들의 글쓰기 역량을 강화하고, 글을 꾸준히 쓸 수 있도록 돕는 커뮤니티' 이며 예 5ohyun.tistory.com 2023.07.13 - [Career/Thinking] - 2023 상반기 회고 2023. 12. 10.
2023 상반기 회고 0. 생각 벌써 23년 7월이라니. 22년 말 회고를 작성할 때 한 해가 비교적 천천히 흐른 것 같다고 했는데 6개월이 지났다고 이렇게 시간의 흐름을 다르게 느낄 수 있는 걸까? 얼마 전 팀장님께 "입사한 지 2년으로 향하고 있다는 게 믿기지가 않아요. 떠올려보면 크게 한 게 없는 것 같은데.." 라고 했을 때, 나이가 들수록 점점 모든 게 익숙해지고 큰 자극으로 다가오지 않아서 시간이 빨리 가는 것처럼 느끼는 거라고 말씀해주셨다. 그 말을 듣고 찾아본 나이가 들수록 시간이 빠르게 가는 이유. 지난 일에 대한 기억이 많이 남아있지 않아 상대적으로 짧게 느끼는 거라고 한다. 뇌는 매일 반복되는 것에는 크게 반응하지 않기 때문에 인상깊은 일이 줄어들어 빠르게 지나간 것처럼 느끼고, 하나 하나 새롭던 어린 순.. 2023. 7. 13.
[Tableau] 대시보드 성능 개선 대시보드를 만들다보면 다양한 차트들이 올라가면서 부득이하게 화면 로딩에 많은 시간이 걸리는 상황이 생깁니다. 그래서 속도 개선에 대한 문제도 함께 생각하게 되는데요. 속도와 Deep한 대시보드 기능 구현은 Trade-Off 관계로 클릭 동작이나 자세한 정보를 조회하고자 할수록 로딩시간은 늘어나기 마련입니다. 다양한 대시보드 툴 중에 Tableau를 통해 살펴보도록 하겠습니다. 대시보드를 로딩하는 시간은 보고자 하는 뷰어의 목적에 따라 다르게 나눌 수 있습니다. 일반적인 뷰어는 5초 이내, 비즈니스 관련 뷰어들은 10~ 30초 이내, 딥한 데이터 분석 용도로 쓰는 경우엔 1분 정도의 로딩 시간이 적절하다고 합니다. 그렇다면 대시보드를 조회할 때 어디에서 시간이 소요되고 어떤 부분에서 시간을 줄일 수 있을까.. 2023. 6. 14.
<3. 빅데이터의 분산처리> Hadoop, Spark 이용한 데이터 처리 에서는 BI의 의미와 빅데이터를 시각화하기까지의 대략적 과정을, 에서는 데이터를 시각화하기 위한 데이터 마트 준비 과정을 살펴보았습니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 시각화(BI)하기 위한 데이터 준비 빅데이터를 시각화(BI)하기까지의 과정에 이어 작성합니다. 빅데이터를 시각화(BI)하기까지의 과정 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 5ohyun.tistory.com 1. 데이터의 구조 먼저 데이터의 구조를 나눠서 본다면 구조화 데이터와 비구조화.. 2023. 5. 21.
<2. 빅데이터의 탐색> 시각화(BI)하기 위한 데이터 마트 준비 BI의 의미와 데이터를 시각화하기까지의 간략한 과정 설명에 이어 작성합니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 1. BI 도구로 집계하기 (데이터 마트의 필요) 2. 집계 효율을 높일 수 있는 데이터베이스 구조 3. 데이터 마트의 과거 4. 거대한 하나의 팩트 테이블인 비정규화 테이블 5. 다차원 모델 1. BI 도구로 집계하기 (데이터 마트의 필요) BI 도구는 크로스 집계 방식으로 많은 양의 데이터를 집계하고 보고서로 한눈에 요약해서 볼 수 있도록 도와주는 역할을 합니다. 엑셀의 피벗 테이블 기능으.. 2023. 4. 23.
[MySQL] MySQL 서버 구조와 특징 MySQL 서버는 MySQL 엔진 + 스토리지 엔진으로 구분할 수 있다. 스토리지 엔진은 핸들러 API를 만족하기만 하면 MySQL 서버에 추가해서 사용할 수 있다. 해당 글에선 MySQL 서버의 전체적인 구조와 특징을 알아본다. 1. MySQL 전체 구조 (1) MySQL 엔진 -> (2) 핸들러 API -> (3) 스토리지 엔진 (1) MySQL 엔진 : 요청된 SQL 문장 분석, 최적화 커넥션 핸들러, SQL 파서, 전처리기, 옵티마이저로 이루어 짐 쿼리 실행은 대부분 MySQL 엔진에서 이루어짐 1) 쿼리 파서 2) 전처리기 3) 옵티마이저 4) 쿼리 실행기 5) 핸들러 1) 쿼리 파서 SQL 쿼리 문장을 토큰으로 잘게 쪼개는 순서 -> 파스 트리를 만들어 냄 문법 확인 과.. 2023. 3. 27.
<1. 빅데이터의 기초 지식> BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. BI 엔지니어로 일하면서도 한동안 BI라는 것이 무엇인지 뚜렷하게 가늠이 안잡혔기에 기업에서는 왜 빅데이터를 수집하고 BI 시각화를 하고자 하는지, 어떻게 사용하고 관리하는지에 대해 책을 바탕으로 정리하며 작성해보고자 합니다. 1. BI란 무엇일까요? 2. BI 도구 VS. Dashboard 도구 3. 데이터 디스커버리 (Self Service BI 도구) 4. BI를 하기 위해서는 무엇이 필요할까요? 5. 수집부터 BI까지의 데이터 파이프라인 1. BI란 무엇일까요? 먼저, 기업이 데이터를 수집하는 목적으로는 3가지를 .. 2023. 3. 26.

티스토리툴바