检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
实例规格变更问题 Kafka扩容/缩容会影响业务吗? 扩容过程中涉及数据迁移吗? 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
批量资源到期转按需:选择需要更改计费模式的Kafka实例,单击列表左上角的“到期转按需”。 图2 多个资源转按需 查看资费变更的相关信息后,单击“到期转按需”。 图3 到期转按需 父主题: 变更计费模式
描述 oper_type 是 String 变更类型。 取值范围: storage:存储空间扩容,代理数量不变。 horizontal:代理数量扩容,每个broker的存储空间不变。 vertical:垂直扩容,broker的底层虚机规格变更,代理数量和存储空间不变。 new_storage_space
Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供
购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(关闭SSL加密)。 入方向 TCP IPv4 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(开启SSL加密)。 关闭IPv4公网访问(不支持修改SASL开关) 登录管理控制台。 在管理控制台左上角单击,选择区域。
扩容过程中涉及数据迁移吗? 扩容过程中不会迁移数据。 父主题: 实例规格变更问题
Kafka扩容/缩容会影响业务吗? 扩容/缩容Kafka实例的影响如表1所示。变更实例规格的时长和代理数量有关,单个代理的变更时长一般在5~10分钟,代理数量越多,规格变更时间越长。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。
false:未开启 management_connect_address String Kafka实例的Kafka Manager连接地址。 ssl_enable Boolean 是否开启安全认证。 true:开启 false:未开启 enterprise_project_id String
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。
对端Kafka开启SASL_SSL时设置的用户名,或者创建SASL_SSL用户时设置的用户名。(仅源端类型为Kafka且对端Kafka认证方式为“SASL_SSL”时需要填写) password 否 String 对端Kafka开启SASL_SSL时设置的密码,或者创建SASL_SSL用户时设置的
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto
插件名称非法 请检查插件名称是否在插件列表中 400 DMS.00400971 The instance ssl is off. 实例未开启ssl。 请检视实例详情,是否开启ssl。 400 DMS.00400975 Failed to query topics. 查询topic失败。
使用对等连接跨VPC访问Kafka实例(明文接入)。 入方向 TCP IPv6 9192 Kafka客户端所在的IP地址或地址组 通过IPv6地址访问Kafka实例(关闭SSL加密)(内网和公网都适用)。 入方向 TCP IPv4 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka实例(密文接入)。
如何扩总分区? 增加基准带宽/代理数量,可以扩大总分区数。 在Kafka控制台的实例所在行,单击“更多 > 变更规格”,进入变更规格页面,根据实际情况扩容基准带宽/代理数量。具体操作请参考变更Kafka实例规格。 父主题: Topic和分区问题
重置消费组消费进度到指定位置 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 前提条件 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SE
Connect任务、启动已暂停的Smart Connect任务、启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务。 规格变更管理 包括查询实例的扩容规格列表、实例扩容。 主题管理 包括Kafka生产消息、Kafka实例创建Topic、Kafka实例查询Topic
给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 自动平衡 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
reateTime,批处理消息最大值为10485760字节。 其他建议 连接数限制:3000 消息大小:不能超过10MB 使用SASL_SSL协议访问Kafka:确保DNS具有反向解析能力,或者在hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。