检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和Kafka的磁盘存储空间收费。以下计费项支持按需计费。 表1 适用计费项 计费项 说明 实例费用 包括代理规格和代理数量。 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用。
系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用华为云分布式消息服务Kafka版,资源按需申请,即买即用,您将有更多精力专注于业务快速开发,不用考虑部署和运维。
Kafka的磁盘存储空间收费。以下计费项支持包年/包月。 表1 适用计费项 计费项 说明 实例费用 包括代理规格和代理数量。 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的
04 使用 根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect
Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400 执行结果如下: 8000000 records sent, 34128.673632 records/sec (33.33 MB/sec),
代理数量 选择代理数量。 单个代理存储空间 选择存储Kafka数据的磁盘类型和磁盘大小。Kafka实例创建后,磁盘类型不支持修改。 存储空间用于存储消息(包括副本中的消息)、日志和元数据,建议根据业务消息体积、副本数量以及预留磁盘大小选择存储空间大小。每个Kafka代理会预留3
region_id String 区域ID。 available_zones Array of AvailableZonesResp objects 可用区数组。 表2 AvailableZonesResp 参数 参数类型 描述 soldOut Boolean 是否售罄。 id String 可用区ID。
poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为,如写数据库、调用后端API等,在发生Rebalance的场景下消费者下游系统是否正常。 解决方法:建议在消费者客户端将max.poll.records值减小,如果消息处理时间较长可以适当增加max
提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用,而且即使没有使用,所占用资源本身依旧要收费。 完全托管 租户不需要单独采购硬件资源,直接使用就绪的服务,无需额外成本。
消费组名称 topic 是 String 主题名称 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 [数组元素] Array of KafkaDiagnosisCheckEntity objects Kafka消息积压诊断预检查返回对象 表4
参数 参数类型 描述 total Integer 总条数 partitions Array of partitions objects 分区数组 表4 partitions 参数 参数类型 描述 partition Integer 分区ID start_offset Long 起始偏移量
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分
根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 实例总存储空间 = 单个代理的存储空间 * 代理数量,Kafka实例创建后,磁盘类型不支持修改。 磁盘类型选择“超高I/O”,磁盘大小设置为“100GB”。 图3 设置实例规格和存储空间 设置实例网络环境信息,如图4所示,配置详情请参考表4。
回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。 包年/包月的实例退订后会存入回收站中,此时不会收取实例的费用,但是会按需收取存储空间的费用。 包年/包月的实例从回收站中恢复后,计费模式会变为按需计费。 处于宽限期和保留期
数据迁移到新的Kafka实例,具体步骤请参考配置Kafka间的数据复制。 需要注意的是,云上Kafka实例为3副本存储,因此建议实例存储空间为原业务的单副本消息存储的3倍。 父主题: 迁移数据
storage:存储空间扩容,代理数量不变。 horizontal:代理数量扩容,每个broker的存储空间不变。 vertical:垂直扩容,broker的底层虚机规格变更,代理数量和存储空间不变。 new_storage_space 否 Integer 扩容后的存储空间。 当op
100GB~10000GB 100 Kafka单机实例的存储空间估算参考 Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。
P地址。 扩容存储空间(老规格实例) 在“存储空间”中,选择扩容后的存储空间大小,单击“下一步”。 确认扩容信息无误后,单击“提交”。 在实例列表页面,查看变更是否成功? 实例状态从“变更中”变为“运行中”时,表示变更成功,在“已用/可用存储空间”中查看扩容后的存储空间大小。 图4
应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。 分区(Partition) 为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。 副本(Replica) 消息的备份存储。为了确保消息可靠,Kafka创建Topic时,