检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的
启动已暂停的Smart Connect任务 启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务 规格变更管理 包括： 实例扩容 查询实例的扩容规格列表 主题管理 包括： Kafka生产消息 Kafka实例创建Topic Kafka实例查询Topic
典型应用场景 Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消
如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关： 2023年4月25日前创建的实例，auto
手动续费 包年/包月Kafka实例从购买到被自动删除之前，您可以随时在Kafka控制台为Kafka实例续费，以延长Kafka实例的使用时间。 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标，选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法，为Kafka实例续费。
定时任务和非定时任务查看分区平衡是否完成的方法不同，具体如下： 表2 查看分区平衡结果 任务类型 分区平衡结果 非定时任务 在Topic列表页面左上方单击“查看变更任务”，进入“后台任务管理 > 后台任务”页面，当任务的“状态”为“成功”时，表示分区平衡完成，即修改副本数成功。 定时任务 系统自动跳转到“后台任务管理
配置Kafka实例回收站策略 开启回收站策略的实例在被删除后，会被临时存入回收站中，此时实例中的数据尚未被彻底删除，在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除，无法恢复。 回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用，但是会收取存储空间的费用。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择分布式消息服务Kafka版，进入Kafka实例主界面，单击右上角“购买Kafka实例”，尝试购
art Connect任务名_source_0”和“Smart Connect任务名_source_1”。 如果Topic中的消息在进行下一次数据同步前，已经全部老化，此时实际是没有待同步的Kafka数据，但是Kafka数据同步监控指标使用的是包含老化数据的offset值，“待同
Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数
small除外）使用的独占资源，性能更优，性价比更高。 新规格支持最新的功能，例如：分区平衡、动态开启SSL、重平衡日志可观测等。 新规格支持规格灵活变更，例如：Broker规格的扩缩容。 新规格的磁盘大小选择更加灵活，磁盘大小不与实例规格进行绑定，仅与Broker数量相关。 新规格选择粒度
使用MirrorMaker跨集群同步数据 方案概述 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。
相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问DMS for Kafka时，需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒
测试Kafka生产速率和CPU消耗 本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试，对比客户端消息生产速率和服务端CPU消耗，得出性能测试结果。 测试场景一（批处理大小）：相同的Kafka实例和Topic，不同的消息大小
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart
创建Kafka实例 当前页面API为历史版本API，未来可能停止维护。请使用创建实例。 功能介绍 创建实例，该接口创建的实例为按需计费的方式。 URI POST /v1.0/{project_id}/instances 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id
查看Kafka重平衡日志 Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费，等待Rebalance完成。 可能会触发Rebalance的原因： 消费组成员个数发生变化，例如有新的消费者加入，或者有消费者退出。
创建用户 功能介绍 创建Kafka实例的用户，用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例，一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例，一个实例最多创建500个用户。 调用方法 请参见如何调用API。 URI
请联系技术支持。 500 DMS.00501011 Failed to query the product ID from CBC. 包周期实例变更时向cbc查询产品id失败。 请联系技术支持。 500 DMS.00501012 Smart Connect tasks exist. Smart
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
