检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
c为A.test。 两端实例数据双向复制时,开启“重命名Topic”,防止循环复制。 添加来源header 目标Topic接收复制的消息,此消息header中包含消息来源。 两端实例数据双向复制时,默认开启“添加来源header”,防止循环复制。 同步消费进度 开启“同步消费进度
如何查看堆积消息数? 通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 >
参数。 查看消费组列表 在“消费组管理”页面,查看消费组列表。 查看消费组详情页 在“消费组管理”页面,单击消费组名称,进入消费组详情页,查看消费者列表和消费进度。 查看消费组队列详情页 在“消费组管理”页面,单击消费组名称,进入消费组详情页。在“消费进度”页签中,查看消费组消费
Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart Connect任务(Kafka数据复制)。 Kafka实
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“消息查询”,进入消息列表页面。 Kafka实例支持两种查询消息的方法:按创建时间查询和按偏移量查询,具体查询参数参见表1和表2。 表1 按创建时间查询消息 参数名称 说明 Topic名称 选择待查询消息的Topic名称。 分区 输入消息所在的分区。
在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群
在左侧导航栏选择“消费组管理”,进入消费组列表页面。 单击待查看消费者列表的消费组名称,进入消费组详情页。 在“消费者列表”页签,查看消费者列表。 在消费者列表中,可以查看消费者ID、消费者地址和客户端ID。 (可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,按“Enter”。 查看消费者列表(客户端) 未
单击待查看消费进度的消费组名称,进入消费组详情页。 在“消费进度”页签,查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的消费进度(包括堆积数、偏移量、最大消息位置、消费者ID、消费者地址和客户端ID)。 图1 消费进度 (可选)如果需要查询某个T
out_recycleTaskSuccess 回收站恢复实例失败 kafka out_recycleTaskFailure 查看审计日志 查看DMS for Kafka云审计日志,请参考查看审计事件。
面。 通过以下任意一种方法,查看监控数据。 在Kafka实例名称后,单击“查看监控数据”。跳转到云监控页面,查看监控数据,数据更新周期为1分钟。 单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控与告警 > 监控详情”,进入监控页面,查看监控数据,数据更新周期为1分钟。
消息的最长保留时间,修改方法请参见修改Kafka消息老化时间。 副本数 Topic每个分区的副本数量,修改方法请参见修改Kafka Topic副本数。 同步复制 后端收到生产消息请求并复制给所有副本后,才返回客户端。 同步落盘 开启:生产的每条消息都会立即写入磁盘,可靠性更高。 关闭:生产的消息存在内存中,不会立即写入磁盘。
查看Kafka消费组信息 消费组创建成功后,可查看消费组配置信息和状态信息。 查看消费组列表(控制台) 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
topic名称,不支持修改。 retention_time 否 Integer 老化时间,单位小时。 sync_replication 否 Boolean 是否同步复制。 sync_message_flush 否 Boolean 是否同步落盘。 new_partition_numbers 否 Integer
查看Kafka Topic详情 Kafka实例支持在控制台查看Topic的基本信息、分区信息、生产者信息和订阅关系。 约束与限制 如果一个实例中消费组数量超过10000,则不支持查询Topic的订阅关系。 仅当生产者正在往Topic中生产消息时,才显示生产者信息。 查看Topic详情
启用的安全协议 密文接入开启后,才显示此参数。 公网访问 开关是否打开 是否开启公网访问。 明文接入 公网访问开关打开后,才显示此参数。 是否开启明文接入。 公网明文连接地址 明文接入开启后,才显示此参数。 密文接入 公网访问开关打开后,才显示此参数。 是否开启密文接入。 单机实例不支持开启密文接入。
TPS。 测试场景二(同步/异步复制):相同的实例(超高I/O、3个代理、未开启SASL),不同复制机制的Topic,生产者进程数为3时,测试结果如下: 表4 测试结果 实例规格 是否同步落盘 副本数 分区数 TPS(同步复制) TPS(异步复制) kafka.2u4g.cluster
在左侧导航栏单击“监控”,进入监控页面。 在“节点”页面,查看服务端节点的CPU使用率。 图19 broker-0的CPU使用率(异步复制) CPU消耗=86.70% 图20 broker-0的CPU使用率(同步复制) CPU消耗=60% 图21 broker-1的CPU使用率(异步复制) CPU消耗=80.60%
查看监控指标与配置告警 查看Kafka监控数据 Kafka支持的监控指标 配置Kafka监控告警
Connect后,会创建两个或以上用于Smart Connect的代理。在“节点”页签中,“节点类型”选择“connector”,查看Smart Connect代理的相关监控。“节点类型”选择“broker”,查看Kafka实例代理的相关监控。 Smart Connect代理的监控指标包括:磁盘容量使用率、内存