본문 바로가기

Archive109

[글또 9기] 다시 시작하는 2주에 한번 글쓰기! 2023.02.11 - [Career/Thinking] - [글또 8기] 개발자 글쓰기 모임 [글또 8기] 개발자 글쓰기 모임 글또란? 글쓰는 또라이가 세상을 바꾼다!는 의미의 개발자 글쓰기 모임인 글또 8기에 참여하게 되었다. '개발자들의 글쓰기 역량을 강화하고, 글을 꾸준히 쓸 수 있도록 돕는 커뮤니티' 이며 예 5ohyun.tistory.com 2023.07.13 - [Career/Thinking] - 2023 상반기 회고 2023. 12. 10.
2023 상반기 회고 0. 생각 벌써 23년 7월이라니. 22년 말 회고를 작성할 때 한 해가 비교적 천천히 흐른 것 같다고 했는데 6개월이 지났다고 이렇게 시간의 흐름을 다르게 느낄 수 있는 걸까? 얼마 전 팀장님께 "입사한 지 2년으로 향하고 있다는 게 믿기지가 않아요. 떠올려보면 크게 한 게 없는 것 같은데.." 라고 했을 때, 나이가 들수록 점점 모든 게 익숙해지고 큰 자극으로 다가오지 않아서 시간이 빨리 가는 것처럼 느끼는 거라고 말씀해주셨다. 그 말을 듣고 찾아본 나이가 들수록 시간이 빠르게 가는 이유. 지난 일에 대한 기억이 많이 남아있지 않아 상대적으로 짧게 느끼는 거라고 한다. 뇌는 매일 반복되는 것에는 크게 반응하지 않기 때문에 인상깊은 일이 줄어들어 빠르게 지나간 것처럼 느끼고, 하나 하나 새롭던 어린 순.. 2023. 7. 13.
[Tableau] 대시보드 성능 개선 대시보드를 만들다보면 다양한 차트들이 올라가면서 부득이하게 화면 로딩에 많은 시간이 걸리는 상황이 생깁니다. 그래서 속도 개선에 대한 문제도 함께 생각하게 되는데요. 속도와 Deep한 대시보드 기능 구현은 Trade-Off 관계로 클릭 동작이나 자세한 정보를 조회하고자 할수록 로딩시간은 늘어나기 마련입니다. 다양한 대시보드 툴 중에 Tableau를 통해 살펴보도록 하겠습니다. 대시보드를 로딩하는 시간은 보고자 하는 뷰어의 목적에 따라 다르게 나눌 수 있습니다. 일반적인 뷰어는 5초 이내, 비즈니스 관련 뷰어들은 10~ 30초 이내, 딥한 데이터 분석 용도로 쓰는 경우엔 1분 정도의 로딩 시간이 적절하다고 합니다. 그렇다면 대시보드를 조회할 때 어디에서 시간이 소요되고 어떤 부분에서 시간을 줄일 수 있을까.. 2023. 6. 14.
<3. 빅데이터의 분산처리> Hadoop, Spark 이용한 데이터 처리 에서는 BI의 의미와 빅데이터를 시각화하기까지의 대략적 과정을, 에서는 데이터를 시각화하기 위한 데이터 마트 준비 과정을 살펴보았습니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 시각화(BI)하기 위한 데이터 준비 빅데이터를 시각화(BI)하기까지의 과정에 이어 작성합니다. 빅데이터를 시각화(BI)하기까지의 과정 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 5ohyun.tistory.com 1. 데이터의 구조 먼저 데이터의 구조를 나눠서 본다면 구조화 데이터와 비구조화.. 2023. 5. 21.
<2. 빅데이터의 탐색> 시각화(BI)하기 위한 데이터 마트 준비 BI의 의미와 데이터를 시각화하기까지의 간략한 과정 설명에 이어 작성합니다. BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. 5ohyun.tistory.com 1. BI 도구로 집계하기 (데이터 마트의 필요) 2. 집계 효율을 높일 수 있는 데이터베이스 구조 3. 데이터 마트의 과거 4. 거대한 하나의 팩트 테이블인 비정규화 테이블 5. 다차원 모델 1. BI 도구로 집계하기 (데이터 마트의 필요) BI 도구는 크로스 집계 방식으로 많은 양의 데이터를 집계하고 보고서로 한눈에 요약해서 볼 수 있도록 도와주는 역할을 합니다. 엑셀의 피벗 테이블 기능으.. 2023. 4. 23.
[MySQL] MySQL 서버 구조와 특징 MySQL 서버는 MySQL 엔진 + 스토리지 엔진으로 구분할 수 있다. 스토리지 엔진은 핸들러 API를 만족하기만 하면 MySQL 서버에 추가해서 사용할 수 있다. 해당 글에선 MySQL 서버의 전체적인 구조와 특징을 알아본다. 1. MySQL 전체 구조 (1) MySQL 엔진 -> (2) 핸들러 API -> (3) 스토리지 엔진 (1) MySQL 엔진 : 요청된 SQL 문장 분석, 최적화 커넥션 핸들러, SQL 파서, 전처리기, 옵티마이저로 이루어 짐 쿼리 실행은 대부분 MySQL 엔진에서 이루어짐 1) 쿼리 파서 2) 전처리기 3) 옵티마이저 4) 쿼리 실행기 5) 핸들러 1) 쿼리 파서 SQL 쿼리 문장을 토큰으로 잘게 쪼개는 순서 -> 파스 트리를 만들어 냄 문법 확인 과.. 2023. 3. 27.
<1. 빅데이터의 기초 지식> BI란 무엇일까요? 대학생때 태블로를 들어보기는 했지만 해당 툴을 실제 기업에서 쓸 거라고는 생각도 못했던 것 같습니다. 우선 데이터를 시각화해서 보고자 하는 요구가 존재할까? 에 대한 의문이 있었는데요. BI 엔지니어로 일하면서도 한동안 BI라는 것이 무엇인지 뚜렷하게 가늠이 안잡혔기에 기업에서는 왜 빅데이터를 수집하고 BI 시각화를 하고자 하는지, 어떻게 사용하고 관리하는지에 대해 책을 바탕으로 정리하며 작성해보고자 합니다. 1. BI란 무엇일까요? 2. BI 도구 VS. Dashboard 도구 3. 데이터 디스커버리 (Self Service BI 도구) 4. BI를 하기 위해서는 무엇이 필요할까요? 5. 수집부터 BI까지의 데이터 파이프라인 1. BI란 무엇일까요? 먼저, 기업이 데이터를 수집하는 목적으로는 3가지를 .. 2023. 3. 26.
[MySQL] 옵티마이저 DBMS에 대해서 입력과 출력에만 집중하는 경우가 많다. 즉, DBMS 서버가 그 결과를 만들기 위해서 내부적으로 무슨 과정을 거쳤는지는 크게 관심을 가지지 않는다. 그런데 AWS 같은 클라우드 환경의 서버들은 자원을 무제한 사용하도록 해주고 사용한 만큼 비용을 가져간다. 컴퓨터 자원이 너무 쉽게 낭비될 수 있는 환경이고 이런 낭비는 결국 비용 증가로 연결될 것이다. 클라우드 서비스 회사와 ORM도구들은 우리가 지불해야 할 비용에 대해서 걱정해주지 않기 때문에 결국 사용자 입장에서 필요한 만큼 지식과 경험을 갖추고 있어야 하는 것이다. - Real MySQL 8.0 (백은빈, 이성욱) 차주부터 Real MySQL 8.0 책으로 스터디를 진행한다. BI 프로젝트를 진행할 때만 해도 화면상에서 최대한 대시보.. 2023. 3. 9.
[Tableau] Server / Cloud 비교 및 Tableau Bridge 다양한 기업에서 비즈니스 데이터 시각화를 진행하고 있으며 그 중에서도 Tableau가 시각화 툴로 많이 사용됩니다. 엑셀파일이나 다양한 DB와의 연결이 대부분 가능하며 Tableau Desktop을 이용해 대시보드를 제작합니다. Desktop은 마이너를 포함한다면 거의 매달 버전이 업그레이드 되며 로컬 컴퓨터에 다운로드 받아 이용할 수 있습니다. 기업의 데이터를 통해 만든 대시보드는 파워포인트 발표자료처럼 확인할 수도 있지만 Tableau에서 추가 비용으로 제공하는 기능인 Tableau Server나 Tableau Cloud에 게시해 회사 구성원들이 함께 확인할 수 있도록 합니다. 이번 글에서는 태블로를 사용하고자 할 때 데이터 환경에 따라 선택하는 기능과 Tableau Bridge 기능을 알아보고자 합.. 2023. 2. 25.
[글또 8기] 개발자 글쓰기 모임 글또란? 글쓰는 또라이가 세상을 바꾼다!는 의미의 개발자 글쓰기 모임인 글또 8기에 참여하게 되었다. '개발자들의 글쓰기 역량을 강화하고, 글을 꾸준히 쓸 수 있도록 돕는 커뮤니티' 이며 예치금을 두고 2주에 한번씩 글을 작성하도록 스스로 강제성을 준다. 글또는 1년 전쯤 우연히 검색하다가 알게 되었다. 각종 논문들을 번역하고 어려운 용어의 공부한 것들이 가득 써있는 글들을 보며 멋있는 모임이라고만 생각하고 해볼 엄두는 못냈다. 글을 쓰는 행위 자체에도 동경심을 품고 사는데 열심히 쓴 내 글이 전문성을 가진 사람들에게 의미가 있을까, 피드백을 줄텐데 틀린 것들과 너무 당연한 내용들이 가득해서 수준이 안맞지 않을까하는 두려움이 있었다. 내가 쉽게 참여할 수 있는 난이도가 아닐 거라는 어림짐작으로 제대로 알.. 2023. 2. 11.

티스토리툴바