检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改 修改Kafka的配置参数。 开启/关闭自动创建Topic。 容量阈值策略变更 修改Kafka实例的容量阈值策略。 Kafka动态配置SSL 修改明文接入/密文接入。 配置公网访问 开启/关闭公网访问。 开启Smart Connect
String 转储地址，即存储Topic数据的OBS桶的名称。（仅目标端类型为OBS时需要填写） obs_path 否 String 转储目录，即OBS中存储Topic的目录，多级目录可以用“/”进行分隔。（仅目标端类型为OBS时需要填写） partition_format 否 String
类型为OBS时会显示） destination_file_type String 转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示） deliver_time_interval Integer 记数据转储周期（秒）。（仅目标端类型为OBS时会显示） obs_bucket_name
加SASL认证的“consumer.properties”配置文件参数： --command-config {SASL认证的consumer.properties配置文件}，“consumer.properties”配置文件参考使用客户端连接Kafka（开启SASL）。 父主题：
String 配置名称 valid_values String 配置有效值 default_value String 配置默认值 config_type String 配置类型：dynamic/static value String 配置值 value_type String 配置值类型
已开启密文接入的Kafka实例，通过以下步骤查询消费者列表。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和密码，请跳过此
现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数，即修改max.connections.per.ip参数值。 前提条件 已打通客户端和Kafka实例之间的网络，具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问关闭SASL的Kaf
threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。
类型为OBS时会显示） destination_file_type String 转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示） deliver_time_interval Integer 记数据转储周期（秒）。（仅目标端类型为OBS时会显示） obs_bucket_name
String 访问密钥SK。 obs_bucket_name 是 String 存储该通道数据的OBS桶名称。 obs_path 否 String 存储在obs的路径，默认可以不填。 取值范围：英文字母、数字、下划线、中划线和斜杠，最大长度为64个字符。 默认配置为空。 partition_format
fsets.retention.minutes，offsets.retention.minutes支持在控制台修改，具体修改方法请参考修改配置参数。 2023年4月25日及之后创建的实例，分为以下几种情况： auto.create.groups.enable为false时，消费组
policiesOnly Boolean 是否为默认策略。 id String Topic名称 replication Integer 副本数，配置数据的可靠性 partition Integer Topic分区数，设置消费的并发数。 retention_time Integer 消息老化时间。
般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment
常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时，消息通知服务及时发送告警短信/邮件通知用户。
deliver_time_interval Integer 根据用户配置的时间，周期性的将数据导入OBS，若某个时间段内无数据，则此时间段不会生成打包文件。 取值范围：30～900，缺省值：300，单位：秒。 说明： 使用OBS通道转储流式数据时该参数为必选配置。 obs_part_size Long 每个传
性。 稳定性高，基于librdkafka，具有高性能和低延迟的特点。 增加编译复杂度。由于导入C++库，Golang编译器需要引入额外编译配置，增加了编译依赖，提高编译复杂度。 Kafka-go kafka-go是一个简单、轻量级的Kafka客户端库，易于学习和使用。 kafka
enable”为“false”时，需要手动创建消费组，不需要单独创建生产者和消费者。 修改“auto.create.groups.enable”的方法，请参考修改Kafka实例配置参数。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 父主题： 消费组问题
其中，副本数在创建Topic时可以选择，默认为3副本存储。如果开启了Kafka自动创建Topic功能，自动创建的Topic默认为3副本，副本数可以通过“配置参数”页签中的“default.replication.factor”修改。 父主题： 实例问题
1.0和2.7 2022年11月 控制台支持手动、自动分区平衡 1.1.0和2.7 2022年9月 控制台支持修改最大连接数限制 实例支持配置磁盘容量阈值策略 父主题： 版本公告
公网访问时，注意修改Kafka实例的安全组，允许端口9094（明文接入）/9095（密文接入）被外部网络访问。 不同网络环境，对于客户端配置来说，只是连接地址的差异，其他都一样。因此，本手册以同一VPC内子网地址的方式，介绍客户端开发环境搭建。 遇到连接超时或失败时，请注意确认
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
