检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka数据迁移概述 Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka,部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景: 业务上云且不希望业务有中断。 在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 在云上变更业务部署。
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
Connect任务列表页面。 在待删除的Smart Connect任务所在行,单击“删除”,弹出“删除任务”对话框。 单击“确定”,完成Smart Connect任务的删除。 启动/暂停Smart Connect任务 暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。
Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。 本章节主要介绍如何开启Smart
关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart Connect的代理。 关闭Smart Connect后,再重新开启Smart Connect,已删除的Smart Connect任务无法找回,需要重新创建。 单机实例不支持关闭Smart
“双向”时,当前Kafka实例的别名作为前缀添加到对端Kafka实例的Topic名称前,形成Topic新的名称。例如当前Kafka实例别名为A,对端Kafka实例的Topic名称为test,重命名后的Topic为A.test。 Kafka数据复制的Smart Connect任务创
不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
获取SK的方法,具体请参见新增访问密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择:在下拉列表中选择已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。 输入:输入已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
扩容过程中涉及数据迁移吗? 扩容过程中不会迁移数据。 父主题: 实例规格变更问题
变更计费模式概述 在购买Kafka实例后,如果发现当前计费模式无法满足业务需求,您可以变更计费模式。支持变更计费模式的Kafka实例计费项如表1所示。 表1 支持变更计费模式的Kafka实例计费项 计费项 变更说明 相关文档 实例规格 变更Kafka实例的计费模式会同时变更实例规格和存储空间的计费模式。
计费模式 分布式消息服务Kafka版计费模式概述 包年/包月 按需计费
Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如果需要做Kafka实例迁移,可以同时向两个Kafka实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。 父主题: 实例问题
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云,为您节省维护和使用成本。 一键式部署,免去集群搭建烦恼 您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源,业务零改动迁移上云 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。
包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式,您可以预先购买云服务资源并获得一定程度的价格优惠。本文将介绍包年/包月Kafka实例的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。
16:30:30 约束与限制 按需计费Kafka实例绑定的云硬盘随Kafka实例同步变更计费模式。 前提条件 Kafka实例计费模式为“按需计费”。 Kafka实例状态为“运行中”。 操作步骤 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。
制,会有少量的请求失败,导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长。Topic的数据量可以通过监控页面的“队列数据容量”查看,具体步骤请参考查看Kafka监控数据。在不影响业务的前提下,建议适当调小Topic老化时间并等待消息老化,减少迁移数据,加快迁
预置过多或不足的风险。一般适用于电商抢购等业务需求量瞬间大幅波动的场景。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照Kafka实例实际使用时长计费。 计费周期 按订单的购买周期计费。 秒级计费,按小时结算。
按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费Kafka实例的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 分布式消息服务Kafka版对您选择的Kafka实例