检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息被消费后,没有删除,导致Kafka存储空间占满? 消息被消费后,并不会被删除,只有超过老化时间,才会被删除。 您可以通过减小老化时间或者扩容存储空间,解决此问题。 父主题: Topic和分区问题
Integer 是 消息存储空间,单位GB。 Kafka实例规格为100MB时,存储空间取值范围600GB ~ 90000GB。 Kafka实例规格为300MB时,存储空间取值范围1200GB ~ 90000GB。 Kafka实例规格为600MB时,存储空间取值范围2400GB ~
10以上的客户端版本,推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录。 存储空间 集群实例只支持扩大存储空间,不支持减小存储空间。 扩容存储空间有次数限制,最多扩容20次。 单机实例不支持修改存储空间。 基准带宽/代理数量 集群实例只支持增加基准带宽/代理数量,不支持减小基准带宽/代理数量。
磁盘容量使用率 节点 告警阈值:原始值>80% 连续触发次数:1 告警级别:紧急 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。 broker_cpu_core_load CPU核均负载 节点 告警阈值:原始值>2
0~100% Kafka实例 1分钟 节点监控指标 Kafka实例开启Smart Connect后,会创建两个或以上用于Smart Connect的代理。在“节点”页签中,“节点类型”选择“connector”,查看Smart Connect代理的相关监控。“节点类型”选择“broker”,查看Kafka实例代理的相关监控。
源分类功能。 为Kafka实例添加标签,可以方便用户识别和管理拥有的实例资源。 VPC终端节点(VPC Endpoint) 客户端和Kafka实例在同一区域的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现客户端通过内网访问Kafka实例。 NAT网关(NAT
ic还分布在原有代理上,造成分区分布不均匀。通过修改分区平衡,实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制,只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若Topic为单副本,扩容/缩容期间无法对该Topic生产消息或消费消息,会造成业务中断。
of strings 实例节点所在的可用区,返回“可用区ID”。 available_zone_names Array of strings 实例节点所在的可用区名称,返回“可用区名称”。 total_storage_space Integer 总共消息存储空间,单位:GB。 pu
nt文件的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下一个segment文件。Kafka删除消息是删除segment文件,而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息,如果正在使用的segment文件中包含超过老
brokers参数说明 参数 类型 说明 host String 节点IP。 port Integer 端口号。 broker_id String 节点id。 is_controller Boolean 是否为contoller节点。 version Boolean 服务端版本。 register_time
storage:存储空间扩容,代理数量不变。 horizontal:代理数量扩容,每个broker的存储空间不变。 vertical:垂直扩容,broker的底层虚机规格变更,代理数量和存储空间不变。 new_storage_space 否 Integer 扩容后的存储空间。 当op
监控详情”,进入监控页面,查看监控数据,数据更新周期为1分钟。 Kafka实例支持查看以下监控数据: 单机实例:查看实例、节点、主题和消费组的监控数据。 集群实例:查看实例、节点、主题、消费组和Smart Connect的监控数据。 查看Kafka关键指标Top数据 登录管理控制台。 在管
升级过程中会逐个节点升级,单个节点的升级包括两部分:升级软件包和数据同步。升级软件包耗时在5分钟左右,数据同步耗时取决于升级软件包过程中其他节点Leader副本的生产数据量,数据量越大,所需时间越久。升级总耗时=每个节点升级软件包耗时+数据同步耗时。 升级过程中会逐个节点重启监控进程
04 使用 根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect
Array of strings 创建实例时可以手动指定实例节点的内网IP地址,仅支持指定IPv4地址。 指定内网IP地址数量必须小于等于创建的节点数量。 如果指定的内网IP地址数量小于创建的节点数量时,系统会自动为剩余的节点随机分配内网IP地址。 publicip_id 否 String
客户端消息生产速率=102399 登录Kafka实例控制台,单击测试实例名称,进入实例详情页。 在左侧导航栏单击“监控”,进入监控页面。 在“节点”页签,查看服务端节点的CPU使用率。 图1 broker-0的CPU使用率(batch.size=1KB) CPU消耗=58.10% 图2 broker-0的CPU使用率(batch
current_partitions 分区个数 group_messages 消费组堆积消息数 kafka_broker(kafka节点维度) broker_data_size 节点数据容量 broker_messages_in_rate 消息生产速率,每秒生产的消息数量 broker_bytes_out_rate
Smart Connect 修改转储任务的配额 创建关闭实例转储节点的订单 创建转储任务 查询转储任务列表 查询单个转储任务 删除单个转储任务 父主题: API V2
Kafka实例在账单中显示的产品名称为“分布式消息服务专享版”,存储空间在账单中显示的产品名称为“分布式消息服务物理多租存储”,如图1所示。 图1 账单 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报两条账单(实例费用账单和存储空间费用账单)到计费系统进行结算。 按需计费模式的资
修改Topic老化时间 修改Topic分区数 变更实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容基准带宽、代理个数、存储空间、代理规格,或者缩容代理规格。 扩容存储空间有次数限制,只能扩容20次。 支持区域: 全部 变更实例规格 公网访问 您需要通过公网地址访问Kafka实例时,