检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例规格为300MB时,公网带宽取值范围3到900,且必须为实例节点个数的倍数。 Kafka实例规格为600MB时,公网带宽取值范围4到1200,且必须为实例节点个数的倍数。
不同规格的Kafka实例,连接数限制如下: 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格 单个代理客户端总连接数上限
出现该告警时,如果业务后续还需要新增Topic,则需要修改实例基准带宽/代理个数或将业务拆分至多个实例。修改实例基准带宽/代理个数的具体操作,请参考变更实例规格。
dms.instance.kafka.cluster.c3.mini:Kafka实例的基准带宽为100MByte/秒。 dms.instance.kafka.cluster.c3.small.2:Kafka实例的基准带宽为300MByte/秒。
基准带宽/代理数量 集群实例只支持增加基准带宽/代理数量,不支持减小基准带宽/代理数量。 单机实例不支持修改代理数量。 代理规格 集群实例支持扩容/缩容代理规格。 若Topic为单副本,扩容/缩容期间无法对该Topic生产消息或消费消息,会造成业务中断。
100MB/s的带宽怎样开启公网访问? Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka包周期实例支持删除吗? Kafka支持哪些加密套件? 购买实例时选择的单AZ,怎样可以扩展为多AZ? Kafka是否支持跨AZ容灾?
表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警
变更规格 扩容存储空间 扩容代理数量 扩容基准带宽 扩容代理规格 缩容代理规格 创建流控 创建用户/客户端/Topic流控。 编辑流控 修改流控参数。 删除流控 删除用户/客户端/Topic流控。 Kafka分区平衡 修改Topic的分区平衡。
代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。
dms.instance.kafka.cluster.c3.mini:Kafka实例的基准带宽为100MByte/秒。 dms.instance.kafka.cluster.c3.small.2:Kafka实例的基准带宽为300MByte/秒。
dms.instance.kafka.cluster.c3.mini:Kafka实例的基准带宽为100MByte/秒。 dms.instance.kafka.cluster.c3.small.2:Kafka实例的基准带宽为300MByte/秒。
多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置,并且自定义Topic的分区数、副本数。
图1 综合推荐 规格测算:系统根据您选择的版本号和输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。 图2 规格测算 设置网络信息。
客户端通过IPv6地址访问Kafka实例:在Kafka控制台开启IPv6功能,将IPv6地址加入到共享带宽中,实现客户端通过公网访问Kafka实例。 配置Kafka实例的公网访问 使用DNAT通过端口映射方式,实现客户端通过公网连接Kafka实例。
Kafka实例开始分区重平衡任务 功能介绍 该接口用于向Kafka实例提交分区重平衡任务或计算重平衡预估时间。 调用方法 请参见如何调用API。
快速入门 场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。
自动续费的规则如下所述: 以Kafka实例的到期日计算第一次自动续费日期和计费周期。 Kafka实例自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。
图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。
>=0 Kafka实例节点 1分钟 network_bandwidth_usage 网络带宽利用率 网络带宽利用率。 单位:% 仅部分实例支持此监控项,具体如下: 2023年7月9号及以后购买的实例,支持此监控项。
约束与限制 使用Smart Connect迁移业务,会对源端Kafka进行消费,对目标端Kafka进行生产,会占用源端和目标端Kafka的带宽。