检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控列表”,进入流控列表页面。 导出流控列表。 指定用户/客户端流控:在“用户/客户端”页签,勾选待导出的用户/客户端流控,单击“导出
“容量阈值策略”设置为“自动删除”,表示磁盘容量达到95%时,系统会删除最早的10%的消息,以保证磁盘容量充足。当磁盘容量超过95%时,未到达老化时间的消息也会被删除,所以可能会导致部分消息查询不到。 解决方法:修改容量阈值策略或扩大磁盘容量。“容量阈值策略”设置为“生产受限”,表示一旦磁盘使用达到
本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议,以提高消息发送和消息消费的效率与可靠性。
专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏单击“Smart Connect”,进入Smart Connect任务列表页面。 单击Smart Connect任务名称,进入Smart Connect任务详情页面。
数据保护技术 DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房
服务韧性 DMS for Kafka提供了3级可靠性架构,通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案,保障服务的持久性和可靠性。 表1 DMS for Kafka可靠性架构 可靠性方案 简要说明 跨AZ容灾 DMS for Kafka提供跨AZ类型实例,支持跨AZ容灾,当
入门实践 当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控
查看用户消费组行为日志文件,文件中存在以下三种日志: Preparing to rebalance group 1 表示消费组开始进行rebalance,消费组状态变更为REABLANCING。 Stabilized group 表示消费组rebalance完成,消费组状态变更为STABILIZED。 Member
a基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka版 开源Kafka 简单易用 立等可用 即
afka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 在待删除消息的Topic所在行,单击“更多 > 消息删除”,弹出“消息删除”对话框。 设置消息删除参数,如表1所示。 图1 消息删除 表1 消息删除参数说明
offsets)等。 图中②区域表示代理与队列分区的对应关系。 图中③区域表示该队列的消费组列表。单击消费组名称可进入该消费组的详情页。 图中④区域表示队列的配置信息。详情参考Kafka队列官方配置文档。 图中⑤区域表示队列监控数据统计。 图中⑥区域表示队列分区信息,包括分区消息数(Latest
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
在左侧导航栏选择“回收站”,进入“回收站”页面。 通过以下任意一种方法,导出实例列表。 勾选待导出的实例,单击“导出 > 导出已选中数据到XLSX”,导出指定实例列表。 单击“导出 > 导出全部数据到XLSX”,导出全部实例列表。 删除回收站中的实例 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,开启Smart Connect。 在待开启Smart Connect的Kafka实例所在行,单击“更多 > 开启Smart
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在“配置参数”页面,在待修改参数所在行,单击“编辑”,修改配置参数。 1.1.0版本实例的参数说明如表1和表2所示,2.3.0/2.7/3.x版本实例的参数说明如表3和表4所示。 表1 动态参数说明(1.1
实例中部分代理故障时,无法创建、修改和删除消费组,以及重置消费进度,只能查询消费组。 消息 表4 消息约束与限制 限制项 约束与限制 消息大小 生产消息的最大长度为10MB,超过10MB会导致生产失败。 用户 表5 用户约束与限制 限制项 约束与限制 创建用户的数量 一个Kafka实例最多创
ka实例的运行不受影响。Kafka实例到期后的状态说明,请参见到期后影响。 续费相关的功能 包年/包月Kafka实例续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月Kafka实例从购买到被自动删除之前,您可以随时在Kafka控制台为Kafka实例续费,以延长Kafka实例的使用时间。
Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“重平衡日志”,进入“重平衡日志”页面。 单击“开启日志”,弹出“开启日志”对话框。 单击“确定”,自动跳转到“后台任务管理”页面,当重平衡日志任务的“状态”为“成功”时,表示开启重平衡日志成功。
Go 本文以Linux CentOS环境为例,介绍Go 1.16.5版本的Kafka客户端连接指导,包括demo代码库的获取,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 页面支持从以下三个方面对代理中的