Kafka SaaS

1. 클라우드 서비스 - 컨플루언트

1. 컨플루언트는 카프카에 대한 개념을 최초로 생각하고 아키텍쳐를 제안, 개발한 인물인 제이 크랩스와 그의 동료들이 설립한 회사이다.
2. 제이 크랩스는 링크드인에서 데이터 인프라를 담당하는 아키텍트 팀장이었는데 카프카의 성장 가능성과 미래를 보고 링크드인을 퇴사하여 추가 기능을 가진 카프카를 제공하는 스타트업을 설립했다.
3. 컨플루언트는 50달러의 가치를 지녔으면 한화로 6조원 가량의 회사이다.
4. 컨플루언트에서 오픈소스로 공개하고 관리하고 있는 스키마 레지스트리, ksqlDB 등과 같은 소스 코드들은 카프카를 활용하는 생태계의 범위를 점차 늘려나가고 있다.

컨플루언트 클라우드 - 클라우드 기반 카프카 클러스터 - 요구사항에 따라 자동으로 늘려주는 클러스터 리소스 제공 - GCP, AWS 등 클러스트 설치 위치 지정(리전 단위) 가능 - 120개가 넘은 커넥터, ksqlDB, 스키마 레지스트리 서비스 제공 - 99.95% SLA - 엔터프라이즈 수준의 보안 수준 제공 - 데이터 적재 제한 없음

컨플루언트 플랫폼 - 온프레미스 기반 설치형 카프카 클러스터 - 서버를 내부에서 발급하여 직접 설치 - 필요에 따라 컨플루언트 팀에서 지원, 학슴 제공 - 단계별 스토리지 기능(Tiered-storage) 제공 - GUI 기반 모니터링 시스템 제공

2. 클라우드 서비스 - AWS MSK

1. MSK (Managed Streaming for Apache Kafka)는 AWS에서 제공하는 SaaS형 아파치 카프카 서비스이다.
2. AWS MSK는 인프라에서 카프카 클러스터를 생성, 업데이트, 삭제 등과 같은 운영 요소를 대시보드를 통해 제공한다.
3. 또한, 안전하게 접속할 수 있도록 클러스터와 연동시 TLS 인증 보안을 설정할 수 있다.
4. MSK는 아파치 카프카 버전을 직접 선택할 수 있다. 그렇기 때문에 기존 카프카 버전 차이에 의한 서비스 연동 이슈를 발생시키지 않고 안전하게 클러스터를 사용할 수 있다는 장점이 있다.

3. SaaS로 카프카 클러스터를 운영할 경우 장점

1. 인프라 관리의 효율화
2. 모니터링 대시보드 제공
3. 보안 설정

4. SaaS로 카프카 클러스터를 운영할 경우 단점

1. 서비스 사용 비용
   1. MSK 기준
      • 최소 3대 브로커 (kafka.m5.xlarge : CPU 4, 메모리 16G) / 시간당 1.5 달러 (월 1,080 달러)
      • 추가적으로 스토리지 요금과 데이터 전송 요금이 발생
2. 커스터마이징의 제한
3. 클라우드의 종속성
   1. 멀티 클라우드, 하이브리드 클라우드 구성 불가능

5. SaaS형 카프카를 사용하는 것이 나은 경우

1. 카프카 클러스터에 대한 운영 노하우가 부족한 상태에서 빠르게 클러스터 인프라 구축이 필요할 경우
2. 운영상 리소스가 부족한 경우