网站拥有权,wordpress文件下载站,建设厅科技中心网站首页,WordPress情侣网站scan.startup.mode 是 Flink 中用于设置消费 Kafka topic 数据的起始 offset 的配置参数之一。
scan.startup.mode 可以设置为以下几种模式#xff1a;
earliest-offset#xff1a;从最早的 offset 开始消费数据。latest-offset#xff1a;从最新的 offset 开始消费数据。… scan.startup.mode 是 Flink 中用于设置消费 Kafka topic 数据的起始 offset 的配置参数之一。
scan.startup.mode 可以设置为以下几种模式
earliest-offset从最早的 offset 开始消费数据。latest-offset从最新的 offset 开始消费数据。group-offsets从消费者组的 offset 开始消费数据。timestamp根据指定的时间戳开始消费数据。specific-offsets根据指定的 offset 开始消费数据。 在 Flink 的配置文件如 flink-conf.yaml中可以通过设置以下参数来配置 scan.startup.mode
# 设置启动模式为 earliest-offset
flink.connector.kafka.scan.startup.mode: earliest-offset或者在程序中使用 FlinkKafkaConsumer 的 setStartupMode() 方法来设置启动模式
Properties props new Properties();
props.setProperty(bootstrap.servers, localhost:9092);
props.setProperty(group.id, consumer-group);FlinkKafkaConsumerString kafkaConsumer new FlinkKafkaConsumer(topic-name, new SimpleStringSchema(), props);
kafkaConsumer.setStartupMode(StartupMode.EARLIEST);// 使用 kafkaConsumer 进行后续操作需要注意的是scan.startup.mode 参数是用于 Flink 1.14 版本及以上。在更早的版本中可以使用 flink.consumer.startup-mode 参数来设置消费 Kafka 数据的起始 offset 模式。
