【实战】Kafka 参数调优，解决消息体过大问题

小渣渣

在使用 Kafka 发送消息的时候，生产者 max.request.size 默认为：1048576（1M）的大小。



如果生产者消息体超出 1MB，则会报错如下：

The message is 18685640 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration.

解决方案

以 spring 项目为例，在项目的配置文件设置请求最大大小为 20MB ，如下：

登录可见。

设置完成后，重启项目，可以看到已经设置成功，如下图：



当发送的消息超过 1MB 的时候，会报新的错误，如下：

The request included a message larger than the max message size the server will accept.

解决方案

登录到 Kafka 服务器，修改 server.properties 文件，添加如下配置：

登录可见。

默认值：1000012，接近1M， 服务器可以接收的消息的最大大小。

重启 Kafka 服务，问题解决。

并没有设置消费者的其他设置，例如：

登录可见。

(完)

小渣渣

特别说明:该参数调整完毕以后对已创建的topic不起作用

对已创建topic参数调整:bin/kafka-configs.sh --zookeeper localhost:2181  --alter --topic topicName  --config max.message.bytes=62914560

完美解决

飞鱼

学习学习了。。。