检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
for Kafka条件键 运算符 描述 dms:connector Bool Null 是否开启Smart Connect dms:publicIP Bool Null 是否开启公网 dms:ssl Bool Null 是否开启SSL 父主题: 权限管理
般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 StreamExecutionEnvironment
修改分区平衡 × √ 设置Topic权限 × √ 用户管理 × √ 查看重平衡日志 × √ Smart Connect × √ 流控管理 × √ 修改配置参数 × √
开通自动续费后,还可以手动续费该Kafka实例。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月Kafka实例还未到期。
障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时,可实现跨AZ容灾。 图1 跨AZ部署架构图 父主题: 安全
1.0和2.7 2022年11月 控制台支持手动、自动分区平衡 1.1.0和2.7 2022年9月 控制台支持修改最大连接数限制 实例支持配置磁盘容量阈值策略 父主题: 版本公告
介绍怎样删除消费组 03:08 删除消费组 分布式消息服务Kafka版 介绍如何设置消息堆积数超过阈值时,发送告警短信/邮件 05:40 配置告警通知 分布式消息服务Kafka版 介绍如何将一个Kafka实例的数据,同步到另一个Kafka实例中 06:41 两个Kafka实例的数据复制
policiesOnly Boolean 是否为默认策略。 id String Topic名称 replication Integer 副本数,配置数据的可靠性 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。
常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至Kafka实例到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 父主题: 续费
latest:偏移量自动被重置到最晚偏移量。 earliest:偏移量自动被重置到最早偏移量。 none:向消费者抛出异常。 如果将此配置设置为latest,新增分区时,生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息,从而导致部分消息丢失。 删除Kafka消息
重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后,实例状态切换为“运行中”。 重启Kafka实例只会重启实例进程,不会重启实例所在虚拟机。 父主题: 管理实例
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
查看和修改Kafka实例基本信息 查看Kafka磁盘使用量 查看Kafka实例后台任务 查看Kafka生产消费示例代码 修改Kafka实例配置参数 配置Kafka实例标签 配置Kafka实例回收站策略 升级Kafka实例内核版本 导出Kafka实例列表 重启Kafka实例 删除Kafka实例 管理Kafka
业务过载处理建议 本章节描述了CPU使用率高和磁盘写满的原因,以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因,以及处理措施。 配置消息堆积数监控 本章节介绍如何创建消息堆积数超过阈值的告警规则,实现消息堆积数超过阈值时,系统自动发送短信/邮件通知用户,让用户能够实时掌握业务的运行情况。
上角的“更多 > 转包周期”,跳转到“按需转包年/包月”页面。 选择Kafka实例的购买时长,判断是否勾选“自动续费”,确认预计到期时间和配置费用后单击“去支付”。 图1 按需转包年/包月 进入支付页面,选择支付方式,确认付款,支付订单后即可完成按需转包年/包月。 父主题: 变更计费模式
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
修改安全组,不会重启实例。 页面右上角直接提示修改结果。 内网访问 修改方法请参考配置Kafka实例的明文/密文接入。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。 公网访问 修改方法请参考配置Kafka实例的公网访问。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。
/v2/{project_id}/instances/{instance_id}/autotopic dms:instance:modify √ √ 修改实例跨VPC访问的内网IP POST /v2/{project_id}/instances/{instance_id}/crossvpc/modify dms:instance:modify
Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限? 为什么实例中存在默认名为__