检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,重启Kafka Manager。 在待重启Manager的Kafka实例所在行,单击“更多 > 重启Manager”。 单击Kafka实
例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 通过以下任意一种方法,导出Topic列表。 勾选待导出的Topic,单击“导出 > 导出已选中数据到XLSX”,导出指定Topic列表。 单击“导出 > 导出
查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度 修改配置参数 设置Topic的ACL权限 运维与监控 支持的监控指标 设置监控指标告警 支持的云审计操作列表 常见问题 了解更多常见问题、案例和解决方案 热门案例 如何连接和查看Kafka
步骤三:添加DNAT规则 在“公网NAT网关”页面,在新购买的公网NAT网关后,单击“设置规则”,进入公网NAT网关详情页。 在“DNAT规则”页签,单击“添加DNAT规则”,弹出“添加DNAT规则”对话框。 图3 公网NAT网关详情页 设置如下参数。 使用场景:选择“虚拟私有云” 端口类型:选择“具体端口”
使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如消费者故障、消费者网络异常等)导致无法消费消息。 Topic分区设置不合理,或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆积的原因看,消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。
partition Integer topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 sync_message_flush
选择“明细账单”,在筛选条件中选择“资源ID”,并输入3复制的资源ID,按“Enter”即可搜索该资源的账单。 图4 查询资源账单 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。
access topics”的报错。 图1 消费者访问权限 处理方法: 如果业务要求所有消费者在同一个消费组内,即group.id相同,解决方法:为所有消费者授权相同的Topic访问权限。 如果消费者不需要在同一个消费组内,解决方法:修改group.id,让每个消费者单独在一个消费组内。
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,删除按需计费的Kafka实例。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除”。 在待删除Kafka实例所在行,单击“更多
Management,简称IAM),支持三种身份认证方式:用户名密码、访问密钥、临时访问密钥。同时还提供登录保护及登录验证策略。 访问控制 对企业中的员工设置不同的DMS for Kafka访问权限,以达到不同员工之间的权限隔离,使用IAM进行精细的权限管理。该服务提供用户身份认证、权限分配、访
查询所有消费组 功能介绍 查询所有消费组。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String
支持明文接入。 支持明文接入和密文接入。 变更实例规格 × √ 重置Kafka密码 × √ 查看磁盘使用量 × √ 修改分区平衡 × √ 设置Topic权限 × √ 用户管理 × √ 查看重平衡日志 × √ Smart Connect × √ 流控管理 × √ 修改配置参数 × √
低。 partition 否 Integer topic分区数,设置消费的并发数。取值范围:1-200。 sync_replication 否 Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 retention_time
查询指定消费组 功能介绍 查询指定消费组。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group} 表1 路径参数 参数 是否必选 参数类型 描述 engine
删除取决于offsets.retention.minutes,offsets.retention.minutes支持在控制台修改,具体修改方法请参考修改配置参数。 2023年4月25日及之后创建的实例,分为以下几种情况: auto.create.groups.enable为fal
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,查看监控数据。 在Kafka实例名称后,单击“查看监控数据”。跳转到云监控页面,查看监控数据,数据更新周期为1分钟。 单击Kafka实例
介绍怎样扩容Kafka实例 04:46 变更实例规格 分布式消息服务Kafka版 介绍怎样删除消费组 03:08 删除消费组 分布式消息服务Kafka版 介绍如何设置消息堆积数超过阈值时,发送告警短信/邮件 05:40 配置告警通知 分布式消息服务Kafka版 介绍如何将一个Kafka实例的数据,同步到另一个Kafka实例中
在待生产消息的Topic所在行,单击“更多 > 生产消息”(实例已开启SASL)/“生产消息”(实例未开启SASL),弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。 发送到指定分区
fetchers)过多,导致CPU繁忙。 分区设置不合理,所有的生产和消费都集中在某个节点上,导致CPU利用率高。 磁盘写满的原因 业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。 Topic的数据老化时间设置过大,保存了过多的历史数据,容易导致磁盘写满。