检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据订阅与MySQL到Kafka同步的区别 对比项 MySQL到Kafka同步 数据订阅 支持的源数据库 华为云RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云MySQL数据库 华为云RDS for MySQL 支持网络 支持公网网络、VPC网络、VPN、专线网络。
DRS在预检查阶段,会对提供的目标数据库IP、端口、用户名、密码的连通性及准确性进行检查。 不通过原因 用户名或密码错误。 端口无法访问。 数据库账号不允许远程连接。 Kafka brokers不可用。 连接失败。 处理建议 检查DRS测试连接时输入的用户名和密码是否正确,填入正确的数据库用户名和密码后重新执行预检查。
字连接,外部使用都配置为host。 DATABASE:允许连接的database名称。逻辑复制连接跟普通连接有区别,逻辑复制连接时必须配置为replication。 USER:连接用户名。 ADDRESS:发起连接的客户端地址,可以是全放开,也可以是指定IP放开。 METHOD:
运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。 华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API
地主备倒换的效果。 图1 实时灾备倒换 图2 双主灾备原理 防回环同步原理概述(DML) 从源库解析日志时,解析到的数据中可能包含某种标记,包含这种标记的数据是通过DRS写到源库的,应用写入的数据无标记,解析后过滤掉不符合标记条件的数据。 回放数据到目标库时,对要回放的数据打上特殊标记,这个标记会记录到数据库日志中。
触发回放,观察目标数据库的性能表现。 常用场景: 数据库搬迁前,通过录制回放可以提前得知源业务在目标数据库的运行效果。 通过控制录制回放的线程及回放速度,来模拟源业务流量放大的效果,从而分析目标数据库对于未来业务激增时的稳定性表现。 图1 录制回放 支持的数据库类型 目前,DRS录制回放支持的数据库类型,如下表所示。
getFieldCount() 获取这条变更记录的字段Field的个数。 List <Field> getFieldList() 该函数返回结果的数据类型为List <Field>。 List <Field> 包含了这条变更记录对应表的所有字段的定义及变更前后的镜像值,Field对象的定义详见表7。 表6 属性信息
费模式的DRS计费项如表1所示。 表1 支持变更计费模式的DRS计费项 计费项 变更说明 相关文档 配置费(必选) DRS任务目前只支持按需转包年/包月,暂不支持包年/包月转为按需。 迁移任务:目前只支持按需计费,不支持转包年/包月。 同步任务:仅支持非冻结状态且为增量中的单AZ同步任务按需转包年/包月。
for MySQL库中的数据同步到灾备中心RDS for MySQL库中,实现RDS for MySQL主实例和跨Region灾备实例之间的实时同步。 服务列表 虚拟私有云 VPC 弹性公网IP EIP 云数据库 RDS 数据复制服务 DRS 使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。
如果在创建任务后有数据写入,这些写入的数据会一直同步至目标库中,直到任务结束。下面我们模拟写入另外的数据。 根据本地的Oracle数据库的IP和地址,通过数据库连接工具连接数据库。 执行如下语句,在源库插入一条数据。 我们插入一条“id”为1的数据。 insert into test_info
在“对象选择”区域选择需要加工的对象。 图5 列加工 单击右侧已选对象的“编辑”。 在“编辑列”中,勾选需要映射的列,填写映射后的“新列名”。 图6 编辑列 列加工提供列级的查询、映射和过滤能力。 编辑列名后,目标数据库的列名为修改后的名称。 列映射名不能和原列名或已存在的映射名相同。 不支持库名、表名带有换行符的列进行映射。
单击“立即创建”,完成灾备VPC创建。 创建安全组 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”。 在左侧导航树,选择“访问控制 > 安全组”。 单击“创建安全组”。 图2 创建安全组 单击“立即创建”,完成灾备安全组创建。
配置。 图1 创建VPC 单击“立即创建”,完成生产VPC创建。 创建安全组 登录华为云控制台。 单击管理控制台左上角的,选择区域“华东-上海一”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”。 在左侧导航树,选择“访问控制 > 安全组”。 单击“创建安全组”。
配置费(必选) 指计算和存储资源及数据处理的费用。 “按需计费”配置费用是按照实际使用时长计费,以自然小时为单位整点计费,不足一小时按照实际使用时长计费。 “包年/包月”配置费用是一次性计费。 弹性公网IP费用(可选) 指公网访问产生的数据处理和数据流量费用。如果创建公网网络任务,您需要购买弹性公网IP。
按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费任务的计费规则。 适用场景 按需计费适用于具有不能预测使用周期或不能中断的短期使用场景。 计费项 表1 按需计费项 计费项 说明 配置费(必选) 指计算和存储资源及数据处理的费用,按需的配置费用按照实际使用时长计费。
包年/包月是一种先付费再使用的计费模式,适用于对需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式,您可以获得一定程度的价格优惠。本文将介绍包年/包月的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 目前实时迁移仅支持
单击“立即创建”。 返回VPC列表,查看创建VPC是否创建完成。 当VPC列表的VPC状态为“可用”时,表示VPC创建完成。 创建安全组 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”,进入虚拟私有云信息页面。
避免产生无法连接源库的告警。 对于“配置”状态的任务,配置失败的任务无法结束。 对于“故障恢复”状态的任务,正在进行故障恢复的任务无法结束。 任务结束后无法重试。 迁移任务只支持按需计费,任务结束后即停止计费。 前提条件 已登录数据复制服务控制台。 迁移任务未结束。 结束任务 在
是否必选 参数类型 描述 action 是 String 需要执行的特定操作。 job_id 是 String 任务ID(集群模式取父任务的任务ID)。 property 是 String 操作对应的参数。 说明: 按照表5中的参数拼成json后转义。 表5 property字段数据结构说明
式均针对单个的DRS任务从以下方面收取费用: 表1 计费项 计费项 计费项说明 计费模式 配置费(必选) 指计算和存储资源及数据处理的费用。 “按需计费”配置费用是按照实际使用时长计费。 “包年/包月”配置费用是一次性计费。 弹性公网IP费用(可选) 指公网访问产生的数据处理和数