Public Cloud Data Lake – Part II 초기 분석 후 Data Warehouse로 ETL
Public Cloud의 Data Lake에서 초기 탐색적 자료 분석을 완료한 후, 일정 시간동안 분석결과를 검증한다. 검증이 완료되면 필요한 Data를 Data Warehouse로 주기적으로 옮긴 후 혹은 옮기지 않고 Data Lake에서 직접 해당... Read More
Public Cloud Data Lake – Part I SQL을 이용한 Object Storage Data 분석
Public Cloud에서 Data Lake를 운영할 경우, 통상적으로 초기 탐색적 자료 분석을 통해 기초적인 Data분석을 진행한다. 이 작업의 경우, SQL, Python, R 등의 언어를 사용해서 분석을 하는데, 이 글에서는 SQL을 이용한... Read More
Public Cloud에서의 Data Lake
많은 기업들이 Big Data 시대를 거치면서 Data Lake를 구축하고 운영하려는 시도를 하였다. 기존 Data Warehouse만으로 처리할 수 없었던 Unstructured Data처리를 할 수 있는 유연성과 Data Warehouse에 비해 낮은 Data 보관... Read More
DW의 Re-Platform to Cloud – Part III 에코시스템
(* 본 글은 DW Cloud Migration에서 이어지며, 이관 방법 중 Re-Platform to Cloud Service 의 하나의 예시에 대해 다루고 있다.) 이전 글까지 어떤 마이그레이션 방법을 활용할지 (Part I)와 대표적으로 검토해야... Read More
DW의 Re-Platform to Cloud – Part II 기술 검토
(* 본 글은 DW Cloud Migration에서 이어지며, 이관 방법 중 Re-Platform to Cloud Service 의 하나의 예시에 대해 다루고 있다.) 어떠한 형태로 Cloud DW를 이관할지 정하였다면, 이제는 선택 가능한 솔루션... Read More
DW의 Re-Platform to Cloud – Part I 기술 선정
(* 본 글은 DW Cloud Migration에서 이어지며, 이관 방법 중 Re-Platform to Cloud Service 의 하나의 예시에 대해 다루고 있다.) “클라우드 트렌드와 맞물려, 회사에서 전사 인프라 환경을 클라우드로 전환하기로 결정했다.... Read More