2021년 11월 30일 화요일

로그 데이터의 수집과 시각화 – Part 2

2000년대 후반까지만 해도 데이터를 시각화 하여 보는 것은 회사 전체 차원에서 중요하다고 생각하는 정해진 대시보드를 구축하는 것이나 팀 단위에서 엑셀을 활용하여 정제된 데이터를 일부 차트 등을 활용하는 정도에 한정된 경우가 대다수였다. 빅데이터 트렌드와 함께 데이터가 끊임없이 증가하고, 업무 팀에서 유기적으로 그 데이터를 다루고 그 안에서 인사이트를 찾을 수 있어야 한다는 시대가 되면서 자연스럽게 BI 가 관심을 갖게 되었다. 저번 글에서 언급한 로그 분석을 위한 솔루션의 폭발적인 성장의 큰 이유 중 하나가 여기에 있다.

전통적인 로그 데이터는 엔지니어나 전산실, 관제실의 전유물이었으며, 업무에 문제가 생기는 경우 사후 조치를 위해 기록해놓던 것이 일반적이었다. 특히, 특정 솔루션이 생성하는 여러 로그들을 조합하여 그 원인을 추적해 나가는 것이 대표적인 숙련된 엔지니어의 역량으로 평가 받는 것은 지금도 여전히 이어지고 있다. 하지만, 이런 형태로는 제한된 사용자만이 이 정보를 활용할 수 있고, 이것이 로그 데이터 솔루션들이 시장에 나오는 이유로 이어지게 된다.

로그 데이터 솔루션들은 로그를 수집하고 이를 쉽게 시각화 하는 기능을 공통으로 제공한다. 기존에 사후 처리에 한정하여 활용되던 데이터를 최대한 근 실시간화 하고, 해석이 필요한 부분들을 분석하여 제공하고, 텍스트로 봐야하는 내용을 시각화 하여 접근성을 높이는 것이 로그 분석 솔루션들이 공통적으로 제공하는 기능이다.

[Splunk Dashboard 구성의 예1]

Splunk의 경우, 로그 수집부터 분석, 시각화까지를 하나의 업무 묶음으로 보고 하나의 제품으로 제공하고 있다. 반면, Elastic과 같은 경우에는 로그 수집, 처리, 분석, 시각화 등 여러 단계에 해당하는 컴포넌트들을 각각 별도의 제품으로 제공하여 사용자의 필요에 맞게 활용할 수 있도록 제공하고 있다. 이는 오픈소스로 출발한 데에서도 기인한 바가 있을 것으로 추정된다. 사용자는 필요에 따라 선택적으로 모듈을 선택하여 활용할 수 있으며, 다른 기술하고의 연동도 수월하게 제공한다.

[Elastic 제품 스택의 구성2]

시각화에만 집중하는 프로젝트도 있다. Grafana가 대표적인 예시이다. 물론 Kubernetes 환경에서 주로 사용되는 로그 수집 제품인 Promethus 와 주로 함께 사용되었기에 온전히 시각화 제품만 집중한다고 말하는 데에는 약간의 어폐가 있을 수는 있지만, Grafana 같은 경우에는 되려 시각화를 중심에 두고 다양한 데이터 소스를 제공하는 형태로 주변 기술이 확장되고 있다. 특히, InfluxDB와의 궁합으로 시계열 데이터에 대한 시각화는 상당히 시장에서 주목받는 조합이다. 시각화 도구가 없는 시계열 데이터베이스인 InfluxDB는 Grafana를 거의 공식적인 에코시스템으로 생각하고 연계 기술로 자연스럽게 활용하고 있다.

[InfluxDB와 Grafana의 연동3]

시각화 제품에 대한 요구사항은 매우 단순하다. 데이터를 조회 및 집계하는 기능과 대시보드를 구성할 수 있는 다양한 차트를 제공하여 원하는 화면을 쉽게 빠르게 구성하는 것이다. 그리고 대부분의 업무에서 보길 원하는 형태의 시각화 차트는 어느 정도 규격화 되어 있는 점을 감안한다면, 시각화는 선호의 문제이지 기술적인 큰 간극이 있는 것은 아닐 수 있다. 다만, 대시보드를 구성하는 편의성은 SaaS 형태의 서비스가 보편화 되면서 간극이 발생할 여지는 더 크게 만들어지게 된다.

다음 글에서는 Managed Service 형태로 로그 데이터 분석 서비스를 제공하는 기술들을 살펴보고 이 주제를 마무리 하고자 한다.

  1. Dashboard Digest Series – Episode 6: Traveling on Time with Trellis
  2. ElasticStack structure flow (4) Kibana
  3. How to Use Grafana with InfluxDB to Monitor Time Series Data

    Related Posts

    로그 데이터의 수집과 시각화 – Part 3
    로그 데이터의 수집과 시각화 – Part 1

    Leave a Reply