- 在Spark Streaming中使用Kafka作为数据源
- 利用MySQL保存Kafka offset偏移量来记录消费的位置
- Spark程序重启后可以从上次消费位置继续消费,不会丢失数据
- 使用checkpoint保证状态结果不丢失
kongdz / spark_streaming_kafka_offset Goto Github PK
View Code? Open in Web Editor NEWThis project forked from e-souldatagroup/spark_streaming_kafka_offset
SparkStreaming中利用MySQL保存Kafka偏移量保证0数据丢失