-
配置Kafka监控告警 - 分布式消息服务Kafka版
创建告警规则操作,请查看创建告警规则。 设置告警名称和告警的描述。 设置告警策略和告警级别。 如下图所示,在进行指标监控时,如果连续3个周期,磁盘容量使用率原始值超过85%,则产生告警,如果未及时处理,则产生告警通知。 图1 设置告警策略和告警级别 设置“发送通知”开关。当开启时,设置告警生效时间、产生告警时通知的对象以及触发的条件。
-
在Windows服务器中无法登录Kafka Manager - 分布式消息服务Kafka版
Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。 Kafka Manager异常。
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。 业务数据不均衡原因
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
数较多且每个消费者开启多个线程的情况下。 如图1所示,Topic含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。当Topic中消息较少或者没有时,连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 优化方案
-
返回结果 - 分布式消息服务Kafka版
Content-type”。 对于获取用户Token接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体(可选) 该部分可选
-
责任共担 - 分布式消息服务Kafka版
基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
Follower副本所在Broker Topic1 0 0 0,1,2 Topic1 1 0 0,1,2 Topic2 0 0 0,2 图7 场景一分区平衡图 如图7所示,有3个副本需要从Broker 0拉取数据,Broker 0中每个副本的数据量为100MB,Broker 0中只有Leader副本,Broker
-
配置Kafka流控 - 分布式消息服务Kafka版
角的“仅设置了用户名”/“仅设置了客户端ID”/“设置了用户名和客户端ID”,输入新创建的流控名称,按“Enter”,查看新创建的流控。 图1 查看新创建的流控 创建Topic流控 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
-
查看Kafka重平衡日志 - 分布式消息服务Kafka版
在左侧导航栏单击“重平衡日志”,进入“重平衡日志”页面。 在“仪表盘”页签,查看消费组重平衡次数和原因。在“日志查询”页签,查看重平衡日志。 如果您需要搜索日志,请参考LTS日志搜索进行操作。 重平衡日志示例如下: { "level":"INFO", "timestamp":"2023-03-23
-
与其他云服务的关系 - 分布式消息服务Kafka版
标签管理服务是一种快速便捷将标签集中管理的可视化服务,提供跨区域、跨服务的集中标签管理和资源分类功能。 为Kafka实例添加标签,可以方便用户识别和管理拥有的实例资源。
-
配置Kafka间的数据复制 - 分布式消息服务Kafka版
“配置类型”为“实例名称”时,需要设置。 在下拉列表中,选择已创建的Kafka实例。 对端Kafka实例必须和当前Kafka实例处于相同的VPC下,否则无法识别。 Kafka地址 “配置类型”为“Kafka地址”时,需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时,两个
-
Kafka Manager概述 - 分布式消息服务Kafka版
统计集群中的消费组状态。 图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。 图3 集群信息页 集群所有代理统计页 单击功能导航栏中的Brokers,即可进入代理统计页。如图4所示。 图中①区域代理列表,包含总的字节流入和字节流出。 图中②集群监控信息。 图4 所有代理统计页
-
Kafka Manager如何修改Topic的分区Leader? - 分布式消息服务Kafka版
Partition Assignments”,进入修改分区Leader页面。 图1 Topic详情页面 图2 修改分区Leader页面 以修改分区2的Leader为例介绍(Replica 0即为分区Leader),如上图所示,分区2的Leader为2。 修改分区Leader,单击“Save
-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
在控制台自行修改参数值。 支持区域: 全部 如何修改配置参数? 标签 标签是Kafka实例的标识,为Kafka实例添加标签,可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签,也可以在Kafka实例创建完成后,在实例的详情页添加标签,您最多可以给实例添加20个标签。
-
购买Kafka实例 - 分布式消息服务Kafka版
导致生产业务失败。 图1 默认的规格类型 选择规格测算时,系统根据您输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。3.x版本不支持规格测算。 图2 规格测算 选择单机版时,您可以创建一个2
-
认证证书 - 分布式消息服务Kafka版
下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书
-
手动续费 - 分布式消息服务Kafka版
为手动续费。 手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图2 单个续费 批量续费:在资源页面勾选需要续费的资源,单击列表左上角的“批量续费”。 图3 批量续费 选择Kafka实例的续费时长,判断是否勾选“统一到期日”,将Kafka实例到期时间
-
测试Kafka生产速率和CPU消耗 - 分布式消息服务Kafka版
在“节点”页签,查看服务端节点的CPU使用率。 图13 broker-0的CPU使用率(1副本) CPU消耗=58.10% 图14 broker-0的CPU使用率(3副本) CPU消耗=86.70% 图15 broker-1的CPU使用率(1副本) CPU消耗=56.70% 图16 broker-1的CPU使用率(3副本)
-
使用VPCEP实现跨VPC访问Kafka - 分布式消息服务Kafka版
终端节点连接和访问。 终端节点:用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。 图1 跨VPC访问Kafka实例原理图 操作流程 图2 跨VPC访问Kafka实例流程图 创建终端节点服务 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
-
收集连接信息 - 分布式消息服务Kafka版
如果开启公网访问,还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1 查看Kafka实例Broker连接地址与端口 Topic名称 从Kafka实例控制台的Topic管理页面中获取Topic名称。 图2 查看Topic名称 SASL信息 如果实例创建时开启SASL访问,则