检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建告警规则操作,请查看创建告警规则。 设置告警名称和告警的描述。 设置告警策略。 如下图所示,在进行指标监控时,如果连续1次,磁盘容量使用率原始值>=80%,则产生告警,如果未及时处理,则产生告警通知。 图1 设置告警策略 设置“发送通知”开关。 当开启时,设置通知方式和不同方式对应的通知参数。 单击“立即创建”,等待创建告警规则成功。
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。
本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议,以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询(Polling)
获取账号名和账号ID 在调用接口的时候,部分URL中需要填入账号名和账号ID,所以需要先在管理控制台上获取到账号名和账号ID。账号名和账号ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 查看账号名和账号ID。 图1 查看账号名和账号ID
理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内
云监控对Kafka实例的运行状态进行日常监控,可以通过控制台直观的查看Kafka实例各项监控指标和关键指标的Top数据。 前提条件 已创建Kafka实例,且实例中有可消费的消息。 查看Kafka监控数据 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
约束与限制 本章节介绍分布式消息服务Kafka版产品功能的约束和限制,您在使用Kafka实例时注意不要超过相应的约束和限制,以免程序出现异常。 如果因为您的实例配置超过相应的约束和限制而导致的任何不稳定情况,不在SLA承诺和赔偿范围内。 实例 表1 实例约束与限制 限制项 约束与限制
分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异,具体如表1所示。 表1 单机实例和集群实例的差异说明
升级Kafka实例内核版本指的是将老的内核版本升级到最新的内核版本,升级后,Kafka实例将支持一些新的特性(例如支持在控制台创建消费组、支持查看Topic详情等),并且修复老版本的一些问题。 升级Kafka实例内核版本并非升级Kafka实例的版本,例如升级前Kafka版本为2.
afka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在“配置参数”页面,在待修改参数所在行,单击“编辑”,修改配置参数。 1.1.0版本实例的参数说明如表1和表2所示,2.3.0/2.7/3.x版本实例的参数说明如表3和表4所示。 表1 动态参数说明(1.1.0版本)
在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不
留足够的带宽进行分区平衡,CPU使用率在90%以上时,不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看,具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他T
Integer 本次修改动态配置参数个数。 static_config Integer 本次修改静态配置参数个数。 请求示例 修改实例的连接空闲超时和日志删除的时间阈值。 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/configs
提高Kafka消息处理效率 消息发送和消费的可靠性必须由分布式消息服务Kafka版和生产者以及消费者协同工作才能保证。同时开发者需要尽量合理使用分布式消息服务Kafka版的Topic,以提高消息发送和消息消费的效率与准确性。 对使用分布式消息服务Kafka版的生产者和消费者有如下的使用建议: 重视消息生产与消费的确认过程
Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及如何创建监控告警规则等内容,请参见支持的监控指标。 父主题:
单机实例不支持开启SASL_SSL。 启用的安全协议 开启SASL_SSL后,实例已启用的安全协议。 开启的SASL认证机制 开启SASL_SSL后,实例已开启的SASL认证机制。 SSL证书 单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。
全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
云硬盘为云服务器提供块存储服务,Kafka的所有数据(如消息、元数据和日志等)都保存在云硬盘中。 统一身份认证 (Identity and Access Management) 统一身份认证提供了权限管理功能,可以帮助您安全地控制云服务和资源的访问权限。您可以为不同的用户设置不同的访问Kafka实例的权限,以达到不同用户之前的权限隔离。
实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),