Kafka 카프카 스트림즈 vs 스파크 스트리밍
less than 1 minute read
| |
Kafka Streams |
Spart Structured Streaming |
| Deployment |
Standalone Java Process |
Spark Executor (mostly, YARN, cluster) |
| Streaming Source |
Kafka Only |
Socket, File System, Kafka, … |
| Execution Model |
Meterless |
Driver + Executor(s) |
| Fault-Tolerance |
StateStore, backed by changelog |
RDD Cache |
| Syntax |
Low level Processor API / Higj Level DSL |
Spark SQL |
| Sementics |
Simple |
Rich (w/ query optimization) |
- 카프카 스트림즈 : 카프카 토픽을 input으로 하는 경량 프로세싱 애플리케이션 개발
- 스파크 스트리밍 : 카프카 토픽을 포함한 하둡 생태계(HDFS, hive 등)를 input으로 하는 복잡한 프로세싱 개발
Comments