检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for Kafka操作列表 操作名称 资源类型 事件名称 创建DMS实例订单成功 kafka
Kafka实例连接数有限制吗? 不同规格的Kafka实例,连接数限制如下: 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格 单个代理客户端总连接数上限
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。
主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队列数据容量”,该指标表示该队列当前的消息数据大小。 单击Kafka实例名称,进入实例详情页。在左侧导航栏选择“监控与告警 > 监控详情”,进入监控页面。在“主题”页签中,“主题”选
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart Connect任务。
入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。
参数说明见表2。 表2 参数说明 参数 类型 必选 说明 action String 是 对实例的操作:restart、delete instances Array 否 实例的ID列表。 allFailure String 否 参数值为kafka,表示删除租户所有创建失败的Kafka实例。
导出Kafka实例列表 分布式消息服务Kafka版支持在控制台导出实例列表信息,供用户查看和使用。 导出Kafka实例列表 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafk
但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容
bootstrap_servers:前提条件中获取的Kafka实例“内网连接地址”/“公网连接地址”。 group_id:消费组的名称。 topic_id:前提条件中获取的Topic名称。 auto_offset_reset:指定消费者的消费策略。latest表示偏移量自动被重置到最晚偏移量,earliest表示偏移
factor”(副本数)或“num.partitions”(分区数)的参数值,单机实例不支持修改配置参数。修改参数值后自动创建的Topic,Topic参数值为修改后的值。 例如:“num.partitions”修改为“5”,自动创建的Topic参数值如表1所示。 表1 Topic参数值 参数名称 单机实例默认值
约束与限制 回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。 包年/包月的实例退订后会存入回收站中,此时不会收取实例的费用,但是会按需收取存储空间的费用。 包年/包月的实例从回收站中恢复后,计费模式会变为按需计费。 处于宽限期和保留期的实例,删除/退订后,实例不会进入回收站中,会被彻底删除。
如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 +
单页返回消息数,默认值为10。 offset Integer 否 查询的页码,默认值为1。 请求消息 请求参数 无 请求示例 无。 响应消息 响应参数 参数说明见表2。 表2 响应参数说明 参数 类型 说明 messages Array<Object> 消息列表,见表3。 messages_count Long
在左侧导航栏选择“消费组管理”,进入消费组列表页面。 消费组列表页面显示消费组名称、消费组状态、Coordinator (ID)和描述。Coordinator (ID)显示的数字表示Coordinator组件所在的代理,消费组的状态如下。 DEAD:消费组内没有任何成员,且没有任何元数据。
Kafka实例处于已冻结状态。 冻结中 Kafka实例从运行中到已冻结的中间状态。 升级中 Kafka实例正在进行升级操作。 回滚中 Kafka实例正在进行回滚操作。 回收中 Kafka实例正在进行临时删除操作。 回收站中 Kafka实例处于回收站中。 恢复中 Kafka实例正在从回收站中恢复。 单击K
TPS(Transaction per second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS
second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能,请参考测试Kafka实例TPS。 表1 Kafka集群实例规格
查询Topic消息 消息的参数说明如下: Topic名称:消息所在的Topic名称。 分区:消息所在的分区。 偏移量:消息在分区中的位置。 消息大小:消息存入磁盘的大小,单位为B。 创建时间:消息的创建时间。创建时间由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没
获取账号名和账号ID 在调用接口的时候,部分URL中需要填入账号名和账号ID,所以需要先在管理控制台上获取到账号名和账号ID。账号名和账号ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 查看账号名和账号ID。 图1 查看账号名和账号ID