kafka消息大小限制

kafka服务端

kafka默认的消息大小限制为1MB，如果有需要可以修改大一点。

• server.properties

# 100M
message.max.bytes=104857600

• 修改单个topic配置

# 修改配置
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic
  --alter --add-config max.message.bytes=128000

# 检查配置
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic --describe

# 删除配置
bin/kafka-configs.sh --bootstrap-server localhost:9092  --entity-type topics --entity-name my-topic
  --alter --delete-config max.message.bytes

客户端

• go: sarama

kafkaConfig := sarama.NewConfig()
kafkaConfig.Producer.MaxMessageBytes = 104857600 //最大消息大小限制: 100M