Spring Boot Kafka 重启丢弃旧数据

小渣渣

需求：在 spring boot 应用启动的时候，会从数据库或者缓存里面读取一些配置信息，同时，使用 Kafka 来订阅配置信息的变更。由于，应用启动会获取到最新的配置信息，历史的 Kafka 配置更新的消息将没有任何意义，如果使用历史的消息反而会出现问题。

Spring Boot 应用重启后，对于某个 topic 如何丢弃旧数据，也就是不接收该 topic 的历史的 Kafka 消息呢？其实可以通过设置起始偏移量（offset）来解决该问题，订阅者在订阅消息前，将该 topic 的偏移量设置到最后的位置。

即使将 spring.kafka.consumer.auto-offset-reset 设置成 latest，消费者将从最后一次确认收到消息的标志位开始读取消息，这会导致如果应用在关闭时，生产者发送了大量的消息，消费者重启启动后依旧会读取大量的消息。

消费者在初始化期间寻找特定的偏移量，代码如下：

登录可见。

（完）

小渣渣

Spring Boot 动态设置 Kafka 的 Topic 或 GroupId
https://www.itsvse.com/thread-10152-1-1.html

【实战】CentOS 7 下 Kafka 经常挂掉解决方案
https://www.itsvse.com/thread-10090-1-1.html

Kafka 之 auto.offset.reset 值详解
https://www.itsvse.com/thread-10017-1-1.html

【转】Kafka Windows 系统运行一段时间就挂掉解决方案
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka ERROR Failed to clean up log for __consumer_offsets
https://www.itsvse.com/thread-9980-1-1.html

Kafka 配置 JMX 远程监控
https://www.itsvse.com/thread-9968-1-1.html

Kafka 配置参数详解
https://www.itsvse.com/thread-9965-1-1.html

Kafka 手动设置 offset 偏移量
https://www.itsvse.com/thread-9641-1-1.html

.NET/C# 消息队列之 Kafka 操作[附源码]
https://www.itsvse.com/thread-9619-1-1.html