检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”,“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。 在云监控页面的“消费
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟,业务对消息时延较为敏感。 分析过程 怀疑是业务堆积,处理慢导致时延。 通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。 排查EIP流量情况,发现入流量存在下降的场景。
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个:统计
使用云监控服务对Kafka进行实时监控和告警。 为使您更好地掌握Kafka实例状态,华为云提供了云监控服务(Cloud Eye)。您可使用该服务监控自己的Kafka实例,执行自动实时监控、告警和通知操作,帮助您实时掌握Kafka实例中所产生的请求、流量等信息。 云监控服务不需要
在“消费进度”页签中,查看消费组消费的所有Topic列表以及每个Topic的总堆积数和每个分区的消费状态。 集群监控信息/队列监控信息 在“监控”页面,查看实例的监控信息。 前提条件 已配置如表2所示安全组。 表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999
资源优化 您可以通过云监控服务监控资源的使用情况,识别空闲资源,寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 监控资源利用率,评估当前配置是否过高。例如:CPU、内存、云硬盘等资源的利用率。 监控闲置的资源,避免浪费。例如:未挂载的云硬盘、未绑定的EIP等。
如何管理标签? 监控 云监控对Kafka实例的运行状态进行日常监控,可以通过控制台直观的查看Kafka实例各项监控指标。 支持区域: 全部 监控指标有哪些? 必须配置的监控告警有哪些? 如何查看监控数据? 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解
Point Objective)趋近于0。 无忧运维 华为云提供一整套完整的监控告警等运维服务,故障自动发现和告警,避免7*24小时人工值守。Kafka实例自动上报相关监控指标,如分区数、主题数、堆积消息数等,并支持配置监控数据发送规则,您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。
设置不同的访问Kafka实例的权限,以达到不同用户之前的权限隔离。 云监控(Cloud Eye) 云监控是一个开放性的监控平台,提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP(Elastic IP) 弹性公网
错峰流控与流量削峰 在电子商务系统或大型网站中,上下游系统处理能力存在差异,处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击,需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时,可以通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
向Topic(消息主题)发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块,使对方按照约定处理该消息。 消费者(Consumer) 从Topic(消息主题)订阅消息的一方。订阅消息最终目的在于处理消息内容,如日志集成场景中,监控告警平台(消费者)从主题订阅日志消息,识别出告警日志并发送告警消息/邮件。
其他接口 查询可用区信息 查询产品规格列表 查询维护时间窗时间段 查询实例在CES的监控层级关系 父主题: API V1
其他接口 查询维护时间窗时间段 查询可用区信息 查询产品规格列表 查询实例在CES的监控层级关系 父主题: API V2(推荐)
如表1所示,包括了DMS for Kafka的所有系统权限。 表1 DMS for Kafka系统权限 系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess 分布式消息服务管理员权限,拥有该权限的用户可以操作所有分布式消息服务的功能。 系统策略 无 DMS UserAccess
Kafka Manager WebUI的端口能否修改? 在Kafka Manager上支持修改Topic的哪些属性? Kafka Manager和云监控显示的信息不一致 Kafka Manager如何修改Topic的分区Leader? 实例版本在控制台和Kafka Manager上显示不一致?
需要购买硬件资源,自行搭建整个消息服务,使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本,修复开源bug,持续上线新功能,进行版本升级。 使
【下线公告】华为分布式消息服务Kafka版2.3.0版本停售公告 华为云计划于2023/05/05 00:00(北京时间)停售分布式消息服务Kafka版2.3.0版本。 下线范围 下线区域:所有区域 下线影响 该版本停售后,新用户将无法进行购买,已购买该版本的用户不受影响,可继续使用扩容等功能。
区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保持一致,“可用区”为“可用区2”,规格为4U8G,Linux系统的ECS。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java J
表、批量删除消息积压诊断报告、查询诊断报告详情。 其他接口 包括查询产品规格列表、查询可用区信息、查询维护时间窗时间段、查询实例在CES的监控层级关系。