티스토리 뷰

디지털 전환이 가속화되면서 세계 어느 곳에서 누구든지 디지털기기를 이용하며, 데이터의 양은 과거와 비교가 불가할 정도로 방대해졌다. 이에 따라 기존의 소프트웨어로는 많은 양의 데이터를 처리하기 어려워져 빅데이터 처리하기 위한 소프트웨어 기술이 중요해지고 있다. 

 

빅데이터를 저장하기 위한 공간(스토리지)은 당연지사고 실시간 이벤트 처리 및 스트리밍을 위한 기술의 중요성은 말하지 않아도 현실에서 몸으로 느낄 수 있다(유튜브 등). 또한 자율주행 시대가 본격화되기 위해서는 주행을 위한 실시간 빅데이터 처리 기술이 반드시 준비되어야 한다.

 

빅데이터 시대 각광받는 기술과 이를 향상된 서비스로 제공하는 기업 컨플루언트(Confluent)를 알아보자.

 

배경

컨플루언트의 공동설립자 Jay KrepsNeha NarkhedeJun Rao는 링크드인(LinkedIn)에서 일할 당시, 날이 갈수록 방대해져 가는 데이터 처리에 어려움을 느꼈다. 또한 통합되지 않은 수많은 서로 다른 어플리케이션과 데이터 스토리지에서 실시간 데이터 수집의 어려움을 느끼고 Kafka라는 오픈소스 소프트웨어를 개발했다. 

 

 

Apache Kafka

컨플루언트는 오픈소스인 Apache Kafka를 향상된 기업용 버전으로 판매 및 지원하는 서비스형 소프트웨어(SaaS) 기업이다. 따라서 해당 기업을 이해하기 위해서는 Kafka를 이해해야만 성장성 및 비전을 파악할 수 있다.

 

카프카는 데이터 처리에 한 획을 그은 새로운 패러다임으로 분산된 데이터베이스나 어플리케이션 및 시스템 등을 연결해 코어로써 기업 내 데이터 흐름을 제어한다. 데이터(data)가 첨단 기술의 생명선이라면 Kafka는 순환 시스템이다. 중앙 집중식 데이터 파이프라인인 카프카는 현대 디지털 산업에 있어 실시간 중추 신경 시스템이 되고 있다.

카프카-데이터파이프라인
kafka를 사용하지 않은 기업 내 분산된 시스템 구조 (Confluent)
카프카-컨플루언트-kafka-Confluent
Kafka를 통한 중앙 집중식 데이터 제어 (Source: Confluent)

카프카 특징

높은 처리량

  • 방대한 데이터 수집 및 처리
  • 실시간 데이터 스트리밍

확장성

  • 필요에 따라 쉽게 클러스터 확장 용이
  • 데이터베이스, 애플리케이션, 데이터웨어하우스 등 다른 제품군과 연결 및 통합 쉬움

내결함성

  • 장애에 대한 복원력을 높이기 위한 데이터 복제 기능을 갖춘 고가용성 분산 클러스터 (데이터 잃지 않음)

지속성

  • 설정된 시간 동안 데이터 저장 및 비동기 흐름 허용해 트래픽이 일시적으로 폭증하거나 오류가 있더라도 메시지 손실 없이 작업 가능

 

Key points

기존의 데이터 처리방식은 데이터베이스가 사후 대응적으로 반응하는 반면 컨플루언트는 궁극적으로 Kafka를 이용한 사전적으로 빅데이터를 실시간 처리할 수 있도록 지원한다(컨플루언트는 "Data In Motion"라 표현). 데이터량이 급증하면서 빅데이터 처리 기술이 매우 중요해졌으며 기존에 정지되어 있는 데이터가 움직이는 데이터(Event Streaming)로 거의 실시간에 가까운 처리 및 구현이 가능해졌다. 바로 아파치 카프카가 이벤트 스트리밍 플랫폼이며 컨플루언트는 아파치 카프카의 창시자들의 의해 설립된 유일한 글로벌 event streaming 솔루션 기업이다.

data in motion-컨플루언트-데이터인프라
Source: Confluent

기업이 컨플루언트 플랫폼 이용에 돈을 지불하는 이유

아파치 카프카는 무료 오픈소스인데 기업이 왜 돈을 지불하면서까지 컨플루언트를 이용할까?

카프카가 자동차 엔진이라면 컨플루언트 플랫폼은 완성된 자동차라 볼 수 있다. 카프카 플랫폼 자체는 제한적인 기능을 제공하는데 데이터 유통만 기능한다. 

각종 데이터베이스, 어플리케이션 등 시스템과 통합을 위한 Source Connector, 사물인터넷(IoT)나 센서에서 나오는 데이터를 연결하기 위한 REST Proxy와 MQTT Proxy, 그리고 수집된 데이터를 실시간 처리하기 위한 ksqlDB나 스트림 어플리케이션, 카프카와 카프카간 데이터 복제를 위한 Replicator, 카프카의 데이터를 백엔드로 다시 보내는 Sink Connector 등의 기능이 모두 필요하다. 컨플루언트 플랫폼은 카프카를 이용하는데 필요한 구성을 모두 제공한다.

 

 

배당주 투자로만 경제적 자유는 불가능 | 주식 투자 전략 (Feat. 가치주 vs 성장주)

▶ 직장인 재테크, 편안하게 주식하기1 | 주식투자 전략 (feat. 제조업 투자가 어려운 이유)

▶ 2023년부터 시행되는 미국 주식 양도세 개정안, 원천징수로 투자금 묶어 재투자 기회 손실

 

산업동향

실제로 소매, 뱅킹, 헬스케어, 자동차 등 산업 전반적으로 카프카를 도입해서 사용하고 있다. 예로 들어 소매업에서 실시간 재고, 실시간 POS 보고하는 데 사용되며, 자동차 경우 실시간 센서를 진단하고 도착 예상시간을 알려주고 엔터테인먼트 산업에서는 실시간 추천, 맞춤형 뉴스 피드, 인앱 결제 등 활용되고 있다.

컨플루언트 이용 산업군
컨플루언트 이용 산업군 (출처: 컨플루언트)

 

Finance

2020년 기준으로 포츈 100 기업 내 80% 이상 기업들이 Apache Kafka를 사용 중이며 대부분의 기업이 컨플루언트 플랫폼을 이용하고 있다.

confluent-customer-컨플루언트 고객
source: Confluent

SaaS 기업에서 중요한 지표인 매출 성장성과 고객 수 증가 추이는 놀라울 정도로 상승중이다. 회계년도 기준 2020년 매출은 $236 백만 달러로 2년간 연간 매출 상승률은 90%이상에 달했다. 고객수 추이는 Q3'FY21 기준 75% YoY로 3,020을 기록했다.

컨플루언트 매출성장성
컨플루언트 매출 규모에 따른 고객 증가 추이

미래 전망성이나 기술력을 봤을 때 기업 펀더멘탈에 손색이 없으나 신생 성장주로써 가장 큰 리스크는 거시경제이다. 현재 인플레이션 압박에 의한 통화정책의 긴축 방향성으로 주가의 움직임에 어려움이 있다. 그러나 시장의 불확실성이 걷히고 나면 가장 탄력적으로 반등하는 기업 중 하나가 되지 않을까 생각된다. 디지털 전환에 따른 모든 산업 그리고 앞으로 새로운 패러다임으로 대두될 자율주행, 인공지능 등 모두 빅데이터를 기반으로 이루어 지기에 이를 처리하기 위한 컨플루언트(카프카) 플랫폼은 같이 성장할 수 밖에 없다. 

 

 

참고자료 및 출처


Disclaimer 이 글은 개인 투자 의견을 제시하는 것이며 추천이 아니므로 투자 결과에 대한 법적 책임 소재의 증빙자료로 사용될 수 없습니다. 이 글을 읽는 분들은 자신의 판단과 책임 하에서 종목의 선택 및 투자 시기에 대한 최종적인 결정이 이루어져야 하며, 그 어떠한 이유에서도 독자들의 리스크에 대한 책임을 지지 않습니다.

 

- 테크서퍼

스노우플레이크(Snowflake) 전망 및 분석, 빅데이터 시대 데이터 클라우드

데이터독(Datadog) 전망 및 분석, IT모니터링 최강자, 클라우드시대 필수 소프트웨어

컨플루언트-confluent