检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分区平衡任务启动后,无法手动停止任务,需要等到任务完成。 已设置了一个定时分区平衡任务,在此任务未执行前,无法对本实例内的任何Topic执行其他分区平衡任务。 操作影响 对数据量大的Topic进行分区平衡会占用大量的网络和存储带宽,业务可能会出现请求超时或者时延增大,建议在业务低
Kafka分区平衡 修改Topic的分区平衡。 开启日志 开启Kafka重平衡日志。 关闭日志 关闭Kafka重平衡日志。 设置Topic权限 在Topic中为不同的用户设置不同的权限。 查看Kafka实例后台任务 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
Kafka实例的超高IO和高IO如何选择? 如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafk
租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 disk_encrypted_key String 磁盘加密key,未开启磁盘加密时为空。 kafka_private_connect_address String Kafka实例内网连接地址。 ka
20数据。 表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警
pod_connect_address String 租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 是:开启 否:不开启 kafka_private_connect_address String Kafka实例私有连接地址。 ces_version String 云监控版本。
租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 disk_encrypted_key String 磁盘加密key,未开启磁盘加密时为空。 kafka_private_connect_address String Kafka实例内网连接地址。 ka
租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 disk_encrypted_key String 磁盘加密key,未开启磁盘加密时为空。 kafka_private_connect_address String Kafka实例内网连接地址。 ka
pod_connect_address String 租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 kafka_private_connect_address String Kafka实例私有连接地址。 ces_version String 云监控版本。
对端Kafka开启SASL_SSL时设置的用户名,或者创建SASL_SSL用户时设置的用户名。(仅源端类型为Kafka且对端Kafka认证方式为“SASL_SSL”时需要填写) password 否 String 对端Kafka开启SASL_SSL时设置的密码,或者创建SASL_SSL用户时设置的密码。(
在告警规则页面,设置告警信息。 创建告警规则操作,请查看创建告警规则。 设置告警名称和告警的描述。 设置告警策略。 如下图所示,在进行指标监控时,如果连续1次,磁盘容量使用率原始值>=80%,则产生告警,如果未及时处理,则产生告警通知。 图1 设置告警策略 设置“发送通知”开关。
当分区中的消息都已老化,或尚未生产消息时,“最早更新时间”和“最近更新时间”显示“--”,如下图所示。 图2 分区信息 生产者信息:包含Broker地址、生产者地址和加入时间。 2023年7月10日以及之前创建的Topic,在Topic详情页面不显示“生产者”页签。 图3 生产者信息 父主题: Topic管理
group_id String 消费组ID。 id Integer 对应协调器的broker id。 host String 对应协调器的地址。 port Integer 端口号。 响应示例 { "coordinators": [ {
配置发送失败重试:retries=3 发送优化:对于时延敏感的信息,设置linger.ms=0。对于时延不敏感的信息,设置linger.ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。 尽
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个:统计带宽使用量排名前x个的用户/客户端/Topic,x由您自行输入。
进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的Kafka实例,单击操作列“更多
offset大于等于0。 limit 否 Integer 当次查询返回的最大消费组成员个数,默认值为10,取值范围为1~50。 host 否 String 消费者地址。 member_id 否 String 消费者ID。 请求参数 无 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述
fetchers)过多,导致CPU繁忙。 分区设置不合理,所有的生产和消费都集中在某个节点上,导致CPU利用率高。 磁盘写满的原因 业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。 Topic的数据老化时间设置过大,保存了过多的历史数据,容易导致磁盘写满。
Connect”。 单击,将Smart Connect设置为开启,并设置用于Smart Connect的代理数量,代理数取值范围为2~16个,单击“下一步”。 代理数默认为2个,如果您预估2个Kafka实例间的同步流量比较大,例如大于50MB/s,请设置2个以上的代理数。 确认“Smart C
SmartConnectTaskRespSourceConfig 参数 参数类型 描述 redis_address String Redis实例地址。(仅源端类型为Redis时会显示) redis_type String Redis实例类型。(仅源端类型为Redis时会显示) dcs_instance_id