检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（in-sync
"license" for more information. >>> 如果未安装Python，请使用以下命令安装： yum install python Python版的Kafka客户端 执行以下命令，安装推荐版本的kafka-python： Python 2.x版本：pip install
Kafka实例创建成功后，您可以根据业务需要，扩容或者缩容实例规格，Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更，每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间
</dependency> 准备Kafka配置信息 为了方便，下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置，如果Kafka实例没有开启密文接入，使用的是不加密连接，请注释相关代码；如果Kafka实例开启了密文接入，则必须使用加密方式连接，请设置相关参数。 生产消息配置文件（对应生产消息代码中的dms
已开启密文接入的Kafka实例，通过以下步骤查询消费进度。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和密码，请跳过此
表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围（GB） 单个代理流量规格（MB/s） kafka.2u4g.cluster.small 3~30 20000 100 15
全部 删除消费组 重置消费进度 查看消费者连接地址 修改配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。 支持区域： 全部 如何修改配置参数？ 标签 标签是Kafka实例的标识，为Kafka
Java Development Kit 1.8.111及以上版本，可至Oracle官方下载页面下载。 安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA，可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压，有如下文件：
Topic和分区问题 Kafka实例的Topic数量是否有限制？ 为什么限制Topic的总分区数？ Kafka支持减少分区数吗？ Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么？或者是自动生成Topic功能？ Kafka实例是否支持查看单个Topic占用磁盘空间？
系统策略 无 DMS KMSAccess 分布式消息服务租户委托时需要授权的KMS操作权限。 系统策略 无 DMS ELBAccess 分布式消息服务租户委托时需要授权的ELB操作权限。 系统策略 无 DMS VPCEndpointAccess 分布式消息服务租户委托时需要授权的VPCEndpoint操作权限。
买弹性云服务器。 登录弹性云服务器，安装Java JDK，并配置JAVA_HOME与PATH环境变量，使用执行用户在用户家目录下修改“.bash_profile”，添加如下行。其中“/opt/java/jdk1.8.0_151”为JDK的安装路径，请根据实际情况修改。 export
般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment
如何修改message.max.bytes参数？ 在Kafka控制台的“配置参数”页面修改message.max.bytes参数，具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节，如果您实际的业务场景中单条消息的
apache.kafka.common.serialization.StringDeserializer #======== SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl
消息超过老化时间，消息仍存在的原因 问题现象：消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。
如何连接和查看Kafka Manager？ 通过公网如何连接Kafka实例？ 为什么云监控页面无法展示Kafka监控数据？ 为什么限制Topic的总分区数？ Kafka实例的Topic数量是否有限制 Kafka消息堆积了怎么办？ Kafka实例的ZK地址是什么？能否直接连接？ 为什么Console页面上，消息查询查不到消息？
申请扩大Kafka配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。如您最多可以创建多少个Kafka实例。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额？ 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。
消费组客户端。停止待重置消费组客户端，然后等待一段时间（即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间，默认为1000毫秒）后，服务端才认为此消费组客户端已下线。 当前页面API为历史版本API，未来可能停止维护。请使用重置消费组消费进度到指定位置。
查询产品规格列表 功能介绍 在创建Kafka实例时，需要配置订购的产品ID（即product_id），可通过该接口查询产品规格。 例如，要订购按需计费、基准带宽为100MB的Kafka实例，可从接口响应消息中，查找Hourly的消息体，然后找到bandwidth为100MB的记录
动创建该消费组。 解决办法：关闭自动创建消费组功能，即在Kafka控制台的“配置参数”页面，把“auto.create.groups.enable”设置为“false”，然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数，具体
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
