检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kafka集群中,每个Kafka节点会使用33GB的磁盘作为日志和Zookeeper数据的存储,因而实际可用存储会小于购买存储。 其中,副本数在创建Topic时可以选择,默认
个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka
请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 包年/包月Kafka实例费用计算示例(华北-北京四区域) 变更配置后对计费的影响 当前包年/包月Kafka实
API概览 表1 实例管理类接口 API 说明 生命周期管理 包括: 创建实例 查询所有实例列表 查询指定实例 删除指定的实例 修改实例信息 批量重启或删除实例 获取实例配置 修改实例配置 实例升级 实例管理 包括: 重置密码 重置Manager密码 重启Manager 开启或关闭实例自动创建Topic功能
cluster*3规格计费,计费时长为41.5小时,费用计算如下: 在2023/03/20 9:00:00 ~ 2023/03/20 10:30:00期间按照kafka.4u8g.cluster*3规格计费,计费时长为1.5小时,费用计算如下: 包年/包月计费 在2023/03/20 10:30:00
0~100% Kafka实例 1分钟 节点监控指标 Kafka实例开启Smart Connect后,会创建两个或以上用于Smart Connect的代理。在“节点”页签中,“节点类型”选择“connector”,查看Smart Connect代理的相关监控。“节点类型”选择“broker”,查看Kafka实例代理的相关监控。
23:59:59 ~ 2023/05/08 23:59:59 图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 包年/包月Kafka实例费用计算示例(华北-北京四区域) 按需计费模式下,各计费项的计费示例请参见计费示例。
brokers参数说明 参数 类型 说明 host String 节点IP。 port Integer 端口号。 broker_id String 节点id。 is_controller Boolean 是否为contoller节点。 version Boolean 服务端版本。 register_time
磁盘容量使用率 节点 告警阈值:原始值>80% 连续触发次数:1 告警级别:紧急 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。 broker_cpu_core_load CPU核均负载 节点 告警阈值:原始值>2
监控详情”,进入监控页面,查看监控数据,数据更新周期为1分钟。 Kafka实例支持查看以下监控数据: 单机实例:查看实例、节点、主题和消费组的监控数据。 集群实例:查看实例、节点、主题、消费组和Smart Connect的监控数据。 查看Kafka关键指标Top数据 登录管理控制台。 在管
升级过程中会逐个节点升级,单个节点的升级包括两部分:升级软件包和数据同步。升级软件包耗时在5分钟左右,数据同步耗时取决于升级软件包过程中其他节点Leader副本的生产数据量,数据量越大,所需时间越久。升级总耗时=每个节点升级软件包耗时+数据同步耗时。 升级过程中会逐个节点重启监控进程
current_partitions 分区个数 group_messages 消费组堆积消息数 kafka_broker(kafka节点维度) broker_data_size 节点数据容量 broker_messages_in_rate 消息生产速率,每秒生产的消息数量 broker_bytes_out_rate
Smart Connect 修改转储任务的配额 创建关闭实例转储节点的订单 创建转储任务 查询转储任务列表 查询单个转储任务 删除单个转储任务 父主题: API V2
available_zones Array 是 创建节点到指定且有资源的可用区ID。该参数不能为空数组或者数组的值为空,详情请参考查询可用区信息查询得到。在查询时,请注意查看该可用区是否有资源。 创建Kafka实例,支持节点部署在1个或3个及3个以上的可用区。在为节点指定可用区时,用逗号分隔开。参数设置参考如下示例。
7 部署架构:集群 代理规格:kafka.2u4g.cluster 代理数量:3 单代理存储空间:超高I/O,200GB 虚拟私有云:选择虚拟私有云 子网:选择子网 安全组:选择安全组 访问方式:保持默认 实例名称:kafka-test 企业项目:default 购买完成后,在实
测试模型读写比例为1:1 默认Topic的副本数为3 实例网络总流量 = 单个代理流量规格 * 代理数量 实例整体流量 = 业务流量 + 代理节点间数据复制流量 参考上述测算模型说明,假如当前规格为kafka.2u4g.cluster,单个代理流量规格为100MB/s,代理数量为3,
brokers 参数 参数类型 描述 host String 节点IP。 port Integer 端口号。 broker_id String 节点ID。 is_controller Boolean 是否为contoller节点。 version String 服务端版本。 register_time
partitions参数说明 参数 类型 说明 partition Integer 分区ID。 leader Integer leader副本所在节点的id。 leo long 分区leader副本的LEO(Log End Offset)。 hw long 分区高水位(HW,High Watermark)。
Kafka Manager问题 登录Kafka Manager的账号是否可以设置为只读账号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes! Insufficient partition balance when creating topic : proje