架构师_程序员_码农网

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 6919|回复: 2

Windows Kafka ERROR Failed to clean up log for __consumer_offsets

[复制链接]
发表于 2021-7-6 13:30:04 | 显示全部楼层 |阅读模式
回顾:

Kafka 配置 JMX 远程监控
https://www.itsvse.com/thread-9968-1-1.html

Kafka 配置参数详解
https://www.itsvse.com/thread-9965-1-1.html

Kafka 手动设置 offset 偏移量
https://www.itsvse.com/thread-9641-1-1.html

.NET/C# 消息队列之 Kafka 操作[附源码]
https://www.itsvse.com/thread-9619-1-1.html


Windows Kafka 错误如下:

[2021-07-06 09:05:54,809] ERROR Failed to clean up log for __consumer_offsets-42 in dir C:\tmp\kafka-logs due to IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:


[2021-07-06 09:06:06,460] ERROR [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Could not find offset index file corresponding to log file C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.log, recovering segment and rebuilding index files... (kafka.log.Log)

[2021-07-06 09:06:10,607] ERROR Error while creating ephemeral at /brokers/ids/0, node already exists and owner '72057597827809280' does not match current session '72057597827809313' (kafka.zk.KafkaZkClient$CheckedEphemeral)
[2021-07-06 09:06:10,616] ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
        at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
        at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
        at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
        at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
        at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
        at kafka.Kafka$.main(Kafka.scala:109)
        at kafka.Kafka.main(Kafka.scala)


临时解决方案

停止 zookeeper 和 Kafka ,删除 C:\tmp\kafka-logs\__consumer_offsets-42\ 文件夹下面的所有文件。





上一篇:Windows 下查看 Java.exe 所属程序
下一篇:【实战】Linux Redis 源码安装和部署
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
 楼主| 发表于 2021-7-6 13:34:36 | 显示全部楼层
kafka进程不定期挂掉。

1、ERROR Failed to clean up log for __consumer_offsets-30 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel)

2、linux会定时清理/tmp目录下的文件,我的kafka日志文件目录正是放在了/tmp/kafka-logs目录下,导致被定时给清理掉了,所以kafka在尝试读取或追加日志时就会出错。
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3、修改
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4、重启kafka
5、添加kafka日志目录到清理白名单中
centos7下/tmp目录的清理由服务systemd负责,其相关配置文件在/usr/lib/tmpfiles.d目录下,我们修改配置文件tmp.conf,将kafka日志目录加进去,
#防止删除kafka日志文件
X /tmp/kafka-logs

centos6下/tmp目录的清理是通过tmpwatch来实现的,tmpwatch则依赖于cron的定时调度,调度文件为/etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
 楼主| 发表于 2021-7-12 10:57:17 | 显示全部楼层
【转】Kafka Windows 系统运行一段时间就挂掉解决方案
https://www.itsvse.com/thread-9984-1-1.html
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

免责声明:
码农网所发布的一切软件、编程资料或者文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:help@itsvse.com

QQ|手机版|小黑屋|架构师 ( 鲁ICP备14021824号-2 )|网站地图

GMT+8, 2024-3-28 20:54

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表