检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、Topic名称等，然后提供Java、Python和Go等语言的连接示例。
Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 单击，将Smart Connect设置为关闭，单击“下一步”。 确认“Smart Connect”为关闭状态，单击“提交”。 父主题： 使用Smart Connect迁移数据
（可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和密码，请跳过此步骤，执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
ms的错误，如下图所示。 问题解决措施 以下三种措施都可以解决此问题，请根据实际情况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本，并设置“socket.connection.setup.timeout.ms”大于1s，且小于“request.timeout.ms/Kafka服务端节点数”。
Sarama客户端消息最大处理时间（MaxProcessingTime）默认值为100ms，超过最大处理时间可能导致消费者无法消费。 当消费位点重置策略设置为Oldest(earliest)时，当客户端重启时，偏移量重置后可能从最小位点开始重复消费所有消息。 消费者同时订阅多个Topic时，部分分区可能无法消费到消息。
输入带宽大小，默认值为“-1”，表示不限制带宽。 如果实例负载较低（例如实例规格为300MB/s，当前实例负载为30MB/s），建议不设置带宽限制。如果需要设置带宽限制，建议该参数值不小于待分区平衡Topic的总生产带宽 * 待分区平衡Topic的最大副本数。 带宽限制值的估算方法，请参考带宽限制值估算方法。
未开启IPv6的实例，安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域，关闭密文接入，然后再开启密文接入，此时可以重新设置安全协议。 已开启IPv6的实例，实例创建后，不支持修改安全协议。 父主题： 实例问题
（可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和密码，请跳过此步骤，执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
2024-06-04 本次变更如下： 新增诊断管理相关接口。 2024-03-06 本次变更如下： 新增Smart Connect相关接口。 将转储相关接口移动至历史API。 2024-02-26 本次变更如下： 新增生产消息接口。 2023-11-10 本次变更如下： 新增获取实例配置和修改实例配置接口。
查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度 修改配置参数 设置Topic的ACL权限 运维与监控 支持的监控指标 设置监控指标告警 支持的云审计操作列表 常见问题 了解更多常见问题、案例和解决方案 热门案例 如何连接和查看Kafka
"storage_spec_code": "dms.physical.storage.high.v2" } name：实例名称，由您自行定义。 engine：消息引擎，设置kafka。 engine_version：消息引擎的版本。 broker_num：代理个数。 storage_space：消息存储空间，
首次开启密文接入时设置的用户名，或者创建用户时设置的用户名。 密码 “认证方式”为“SASL_SSL”/“SASL_PLAINTEXT”时，需要设置。 首次开启密文接入时设置的密码，或者创建用户时设置的密码。 Smart Connect任务创建成功后，如果您修改了对端实例的认证方式、认
true #B->A.topics = .* # 设置副本个数，如果需要同步多个Topic且副本数各不相同，建议先创建同名同副本数的Topic再启动MirrorMaker replication.factor=3 # 设置消费进度同步方向，可以单向同步也可互相同步 A->B.sync
会删除偏移量为2到4的消息。 说明： 如果“偏移量”设置为“-1”，表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间，消息将不会被删除。 如果需要删除多个分区的消息，单击“添加分区”，设置需要删除消息的分区和偏移量。每次最多可选择10个分区。
区Leader为旧分区Leader ID，仍然会向旧分区Leader发送消息，导致生产消息失败。 解决方法：在生产客户端配置重试机制。建议设置retries=Integer.MAX_VALUE 父主题： 实例规格变更问题
时，“作用范围”需要选择“区域级项目”，然后在指定区域（如华北-北京1）对应的项目（cn-north-1）中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问DMS for Kafka时，需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。
费组。 解决办法：关闭自动创建消费组功能，即在Kafka控制台的“配置参数”页面，把“auto.create.groups.enable”设置为“false”，然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数，具体以控制台为
步骤三：添加DNAT规则 在“公网NAT网关”页面，在新购买的公网NAT网关后，单击“设置规则”，进入公网NAT网关详情页。 在“DNAT规则”页签，单击“添加DNAT规则”，弹出“添加DNAT规则”对话框。 图3 公网NAT网关详情页 设置如下参数。 使用场景：选择“虚拟私有云” 端口类型：选择“具体端口”
默认值会是0或者-1，则查询不到消息。 解决方法：检查客户端消息的createTime设置是否正确。 可能原因3：磁盘容量超过95%，且“容量阈值策略”设置为“自动删除”。 “容量阈值策略”设置为“自动删除”，表示磁盘容量达到95%时，系统会删除最早的10%的消息，以保证磁盘容量
当流控值达到上限后，会导致生产/消费的时延增大。 设置的流控值较小且生产者速率较大时，可能会造成生产超时、消息丢失，导致部分消息生产失败。 初始生产/消费的流量较大，如果设置一个较小的流控值，会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值，待生产/消费稳定后继续减半设置，直到设置为目标流控值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
