检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enable”为“false”时,需要手动创建消费组,不需要单独创建生产者和消费者。 修改“auto.create.groups.enable”的方法,请参考修改Kafka实例配置参数。 连接Kafka实例后,生产消息和消费消息,请参考向Kafka实例生产消息和消费消息。 父主题: 消费组问题
开通自动续费后,还可以手动续费该Kafka实例。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月Kafka实例还未到期。
Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic,供生产者生产消息以及消费者订阅消息。 连接实例 客户
其中,副本数在创建Topic时可以选择,默认为3副本存储。如果开启了Kafka自动创建Topic功能,自动创建的Topic默认为3副本,副本数可以通过“配置参数”页签中的“default.replication.factor”修改。 父主题: 实例问题
诊断Kafka消息积压 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 分布式消息服务Kafka版在控制台提供了消息积压诊断功能,如果消息存在堆积,诊断
宽资源独占式的Kafka专享实例。使用华为云分布式消息服务Kafka版,资源按需申请,即买即用,您将有更多精力专注于业务快速开发,不用考虑部署和运维。 关于Kafka的帮助手册阅读指引 受限于篇幅,我们提供的Kafka帮助手册重点描述产品相关的内容,以及与开源社区版Kafka的差
修改安全组,不会重启实例。 页面上方直接提示修改结果。 内网访问 修改方法请参考配置Kafka实例的明文/密文接入。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。 公网访问 修改方法请参考配置Kafka实例的公网访问。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
String SmartConnect任务名称。 topics String SmartConnect任务配置的Topic。 topics_regex String SmartConnect任务配置的Topic正则表达式。 source_type String SmartConnect任务的源端类型。
00400051 not found the new setup version tar to upgrade instance. 实例升级未找到新版本安装包。 请重新选择升级的版本号 400 DMS.00400052 only the instance at running status can
中手动开启任务,请填true。 topics 否 String SmartConnect任务配置的Topic。 topics_regex 否 String SmartConnect任务配置的Topic正则表达式。 source_type 否 String SmartConnect任务的源端类型。
y 参数 参数类型 描述 type String 实例类型。 product_id String 产品ID。 ecs_flavor_id String 该产品使用的ECS规格。 arch_types Array of strings 支持的CPU架构类型。 charging_mode
String SmartConnect任务名称。 topics String SmartConnect任务配置的Topic。 topics_regex String SmartConnect任务配置的Topic正则表达式。 source_type String SmartConnect任务的源端类型。
y 参数 参数类型 描述 type String 产品类型。当前产品类型有单机和集群。 product_id String 产品ID。 ecs_flavor_id String 底层资源类型。 billing_code String 账单计费类型。 arch_types Array
漏洞修复策略 漏洞修复周期 高危漏洞: Kafka社区发现漏洞并发布修复方案后,分布式消息服务Kafka版一般在1个月内进行修复,修复策略与社区保持一致。 操作系统紧急漏洞按照操作系统修复策略和流程对外发布,一般在一个月内提供修复方案,用户自行修复。 其他漏洞: 按照版本正常升级流程解决。
topic_other_configs objects topic配置 topic_desc 否 String topic描述 表4 topic_other_configs 参数 是否必选 参数类型 描述 name 否 String 配置名称 value 否 String 配置值 响应参数 无 请求示例 修改T
deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900 单位:秒。 说明: 使用OBS通道转储流式数据时该参数为必选配置。 响应参数 状态码: 200 表4 响应Body参数
障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时,可实现跨AZ容灾。 图1 跨AZ部署架构图 父主题: 安全
生产或消费消息时,报Topic {{topic_name}} not present in metadata after 60000 ms错误 问题现象 多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报Topic {{topic_name}}
为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常