2021년 11월 30일 화요일

로그 데이터의 수집과 시각화 – Part 3

앞선 두 개의 글을 통해 로그 수집과 시각화에 대해 알아보았다. 로그 수집과 시각화는 그 업무 특성으로 본다면 클라우드 서비스에 매우 적합하단 것을 어렵지 않게 생각할 수 있다. 대게 원천 로그 데이터를 수집한 뒤의 정제, 처리, 분석, 그리고 시각화의 부분은 업무 특성만 유사하다면 공통화 할 수 있다는 점에서 그렇다. 이러한 배경에서 클라우드 서비스의 등장 초창기부터 로그 데이터에 관계된 서비스는 많은 수가 등장하였다.

클라우드 특성상 VM들이 쉽게 죽고 살아나는 것을 전제로 운영된다는 점에서, AWS는 서비스 초기부터 CloudWatch를 통해 사용자들이 서비스를 관제하고 로깅하여 볼 수 있는 기초적인 기능을 제공하였다. 비단 AWS 뿐만 아니라, Azure는 Monitor와 Log Analytics1, GCP는 Cloud Logging, Oracle은 OMC(Oracle Management Cloud) 등 의 서비스를 제공하여 유사한 기능을 수행할 수 있도록 한다. 각 서비스가 약간의 차이가 있는 점은, AWS와 Azure의 서비스는 자사 클라우드 자체 서비스의 관제에 초점을 많이 두고 기능을 제공하는 반면, GCP는 외부 로그도 수집이 가능하도록 많은 기능을 제공한다. 얼핏 보기엔 GCP나 Oracle의 서비스가 더 범용성이 있어 보이지만, 실제로는 멀티-하이브리드 클라우드 환경에 적용 가능한 전용 SaaS 솔루션들이 많다는 점을 고려해보면 클라우드 벤더가 직접 제공하는 로그 서비스 중 CloudWatch 만큼 널리 사용되는 건 많지는 않아 보인다. 물론, 이는 CloudWatch의 Metric 정보를 Event Handler의 인자로 사용하는 사용 예시가 AWS 사용자 사이에서 널리 사용되기에 발생하는 이유이기도 하다.

[AWS CloudWatch를 활용한 비즈니스 로직 구현의 예2]

하지만, GCP나 Oracle 서비스의 개념과 같은 범용성이 동반되는 경우, 기존의 로그 데이터 솔루션들의 클라우드화 된 서비스와 경쟁해야 하는 경우가 많다. 다시 말하면, 기존 로그 데이터를 패키지로 제공하던 Splunk나 Elastic의 경우에는 클라우드 SaaS 모델을 시장에 출시하여 고객을 확보하였다. 이 시기에 Elastic이 오픈소스가 지니고 있던 불편함이나 복잡한 부분을 서비스로 제공하면서 패키지 시장에서 Splunk의 높은 비용에 부담을 느끼던 고객에 매력적인 대안으로 떠오르게 되어3 시장 점유율을 많이 확보했다고 평가받는다. 어찌보면, 오픈소스가 클라우드 트렌드를 만나 폭발적으로 성공한 대표적인 예시라고 말할 수도 있다. AWS OpenSearch의 전신인 Elasticsearch의 기반 기술이 elastic이라는 건 4, 현재 Amazon사와 Elastic사의 법적 분쟁을 떠나서5 보더라도 상당히 시사하는 바가 크다. 현재 Elastic은 성공적으로 Multi-Cloud 서비스 모델을 지원하고 있어, 사용자는 AWS, Azure, Google 중 원하는 클라우드에 이를 배포하여 서비스를 구성할 수 있다. 멀티 클라우드, 하이브리드 클라우드 환경을 모두 지원하는 셈이다.

[멀티-하이브리드 환경에 모두 구성 가능한 Elastic Stack]

마지막, 가장 강력한 분류로 로그 수집 및 시각화를 완전한 SaaS 형 서비스로만 제공하는 서비스들이 있다. Datadog, Dynatrace, AppDynamics가 이 영역의 대표적인 서비스들이며, Splunk와 New Relic의 클라우드로 전환한 서비스 모델도 이와 유사하다. 로그 수집을 최대한 손쉽게 할 수 있는 인터페이스를 제공하고, 동시에 고객이 원하는 시각화 화면을 구성하는 편의성을 최대한 높여 제공하는 전략이다. 반대로 말하면, 고객사는 로그 데이터가 어느 환경 어느 인프라에 쌓이는지 생각할 필요가 없으며 로그를 통해 확인하고 싶은 사항을 확인하는 데에 초점을 맞춰 서비스를 활용하면 된다. 클라우드 서비스나 그 위에 올라가는 PaaS, 혹은 컨테이너들에서 생성되는 로그들이 대게 형식화가 가능하다는 점에서 출발해 편의성을 높인 이 솔루션들은 클라우드 시장의 확대와 함께 폭발적인 성장으로 시장을 확보해 나가고 있다. 이 솔루션들은 전반적인 형태의 서비스 스택 구성은 상당히 유사한 편이지만, 화면이나 사용성 등에서 차이를 보이며 고객들의 취향에 따라 선호하는 서비스가 달라지는 것을 종종 볼 수 있다.

[Datadog 서비스 스택의 예시]

사람들이 사용하는 서비스가 더욱 많아질수록 정보를 수집하는 로그는 물론 이러한 서비스를 운영하는 인스턴스의 로그 역시 지속적으로 늘어갈 수 밖에 없다는 점에서, 이러한 로그 데이터를 수집, 분석, 시각화 하는 솔루션의 시장은 더욱 더 커질 수 밖에 없다. 로그 시장을 다시 세밀하게 나누면 어플리케이션, 보안, 네트워크, 인프라 등 또 수많은 영역으로 갈라지는 데다가, 최근에는 AI 및 머신러닝 함수를 함께 그 위에 제공한다는 점에서 이 시장은 더욱 많은 서비스들이 지속적으로 등장할 가능성이 높다. 이를 통해 알 수 있는 중요한 사실은, 엔지니어에게 요구되는 능력도 더 이상 텍스트를 읽어내어 추론하는 것이 아니라 다양한 기능을 활용하여 원하는 정보를 추려내고 이를 시각화 하는 것으로 더욱 빠르게 변화하고 있다는 점이다. 클라우드 서비스의 성장이 가져오는 인프라 부문에 대한 서비스형 아웃소싱의 영역이 로그 분석까지 확대되고 있으며, 나아가 플랫폼이나 클라우드 서비스에 대해서 마저도 운영자에 대한 부분은 상당수 그렇게 될 가능성이 높다는 점을 염두하고 시장을 바라봐야 할 것이다.

  1. Deep dive Azure Monitor and Log Analytics
  2. AWS Builders 100 Hands On Lab
  3. 10 Splunk alternatives for log analysis
  4. Amazon Forks Elasticsearch Rebranding It as OpenSearch
  5. AWS Elasticsearch fork exits beta, but legal battle rages on

    Related Posts

    로그 데이터의 수집과 시각화 – Part 2
    로그 데이터의 수집과 시각화 – Part 1
    소프트웨어 오픈소스 전략에 대한 고찰

    Leave a Reply