检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云监控无法展示Kafka监控数据 Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart
storage_space 是 Integer 消息存储空间,单位GB。 Kafka实例规格为c6.2u4g.cluster时,存储空间取值范围300GB ~ 300000GB。 Kafka实例规格为c6.4u8g.cluster时,存储空间取值范围300GB ~ 600000GB。 Kafka实例规格为c6
单个代理存储空间 选择存储Kafka数据的磁盘类型和磁盘大小。Kafka实例创建后,磁盘类型不支持修改。 存储空间用于存储消息(包括副本中的消息)、日志和元数据,建议根据业务消息体积、副本数量以及预留磁盘大小选择存储空间大小。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。
10以上的客户端版本,推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录。 存储空间 集群实例只支持扩大存储空间,不支持减小存储空间。 扩容存储空间有次数限制,最多扩容20次。 单机实例不支持修改存储空间。 基准带宽/代理数量 集群实例只支持增加基准带宽/代理数量,不支持减小基准带宽/代理数量。
快速入门 场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息:
15:30:00在“华北-北京四”区域购买了一个按需计费的Kafka实例,规格配置如下: 规格:kafka.2u4g.cluster*3 总存储空间:高I/O 300GB 用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20 9:00:00升配为kafka
址。 扩容存储空间(老规格实例) 在“存储空间”中,选择扩容后的存储空间大小,单击“下一步”。 确认扩容信息无误后,单击“提交”。 在实例列表页面,查看变更是否成功? 实例状态从“变更中”变为“运行中”时,表示变更成功,在“已用/可用存储空间”中查看扩容后的存储空间大小。 图4 查看扩容后的存储空间
afka的磁盘存储空间收费。以下计费项支持按需计费。 表1 适用计费项 计费项 说明 实例费用 包括代理规格和代理数量。 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用。
and Security Layer)认证,还借助虚拟私有云(VPC)和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副本存储机制。副本间消息同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部
包年/包月、按需计费 实例规格单价 * 购买时长 实例规格单价请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 计费因子:云硬盘类型、容量 说明: 存储空间在账单中显示的产品名称为“分布式消息服务物理多租存储”,如图1所示。 包年/包月、按需计费 云硬盘单价 * 购买时长
Kafka单机实例的存储空间估算参考 Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。
业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。 Topic的数据老化时间设置过大,保存了过多的历史数据,容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施: 优化线程参数num.io.threads、num.network
Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用。随包年/包月Kafka实例创建的存储空间,其计费模式也为包年/包月。 假设您计划购买一个Kafka实例,其存储空间为300GB。在购买Kafka实例页面底部,您将看到所需费用的明细,如图1所示。
不收取实例费用,但是会按需收取存储空间费用。 从回收站中恢复的包年/包月实例,计费模式会变为按需计费。 开启回收站策略的按需实例,删除后会存入回收站中,此时不收取实例费用,按需收取存储空间费用。 适用场景 适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。对于长期使用者,推荐该方式。
后续操作 开启Smart Connect后,您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS,实现分布式消息服务Kafka版和其他云服务之间的数据同步。 父主题: 使用Smart Connect迁移数据
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak := os.Getenv("CLOUD_SDK_AK") sk := os.Getenv("CLOUD_SDK_SK")
表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000 100 15 2000
表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000 100 15 2000
Kafka实例的存储空间估算参考 Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。