检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保证DRS实例的主机安全性、数据可靠性及数据持久性。 实例高可用 为了提高服务的可用性及韧性,DRS提供了断点续传及故障恢复的能力。在源数据库的数据未损坏或丢失的前提下,DRS实例可以从最近停止的点开始,继续进行数据复制。若实例底层的资源出现故障,则迁移至AZ内新的实例,并断点续
time_zone的一致性检查 源数据库和目标数据库的time_zone参数不一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的参数time_zone或system_time_zone不一致。 处理建议 修改源数据库或者目标数据库的time_zone(timezone
双主灾备的主1、主2如何选择 双主灾备要求灾备双方至少有一方为本云RDS实例,另一方可以为本云RDS实例、其他云数据库、ECS自建库或本地自建数据库。为了明确本云(本区)RDS在灾备中所扮演的角色,DRS使用主1、主2来区分角色。选择了本云RDS角色后,也意味着确定了另一方的角色。
提供更高的吞吐量,越多的partition会消耗更多的资源,建议根据broker节点的实际情况来设置partition的数量。 副本个数 同步Topic策略选择自动生成Topic名字时可见。 用来设置topic的副本数。每个topic可以有多个副本,副本位于集群中不同的broke
s检查 MySQL迁移时,为保证DRS能获取全部的Binlog日志,需要开启log_slave_updates参数。 不通过原因 源数据库log_slave_updates参数值为OFF。 处理建议 登录源数据库MySQL所在服务器。 执行以下SQL语句,查看log_slave_updates值是否为ON。
本页面内容仅做确认,无法修改,确认完成后单击“下一步”。 数据加工。 在该页面可以对迁移的表进行加工。包括选择迁移的列,重新命名迁移后的列名,本次实践将“COL_01_CHAR______E”重新命名为“new-line”。 选择需要加工的表。 编辑“COL_01_CHAR______E”列。 将“CO
数据订阅与MySQL到Kafka同步的区别 对比项 MySQL到Kafka同步 数据订阅 支持的源数据库 华为云RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云MySQL数据库 华为云RDS for MySQL 支持网络 支持公网网络、VPC网络、VPN、专线网络。
binlog_row_image参数是否为FULL MySQL迁移、同步时,源数据库的binlog_row_image参数必须设置为FULL,否则会导致迁移失败。 不通过原因 源数据库的binlog_row_image参数不为FULL。 处理建议 如果源数据库为云上RDS实例,可
保证数据的完整性和一致性。 第三阶段:增量数据迁移。全量任务结束后,增量迁移任务启动,此时会从全量开始的增量数据持续的解析转换和回放,直到追平当前的增量数据。 第四阶段:为了防止触发器、事件在迁移阶段对于数据的操作,在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理:
需要注意的是,大字段过滤功能是将字段的内容进行替换,并不是替换整个DML记录。如果一条DML记录中有很多大字段,这些字段只有部分字段的内容大小超过设置的过滤阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。
适用于有事务要求的场景,写入性能比较差,如果没有强事务要求,不推荐使用此选项。 按表的主键值hash值投递到不同的Partition 适用于一个表一个Topic的场景,避免该表都写到同一个分区,消费者可以并行从各分区获取数据。 按表的非主键列值的hash值投递到不同的Partition
建源数据库实例的子网需要开启DHCP功能,在创建过程中也不能关闭已选子网的DHCP功能。 IP地址或域名 源数据库的IP地址或域名。 端口 源数据库服务端口,可输入范围为1~65535间的整数。 数据库用户名 源数据库的用户名。 数据库密码 源数据库的用户名所对应的密码。 SSL安全连接
释放执行同步任务所使用的同步实例和资源。 结束任务中 正在释放同步任务所使用的同步实例和资源。 结束任务失败 释放同步任务所使用的同步实例和资源失败。 已结束 释放同步任务所占同步实例成功。 对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。 对于未启动、状态为配置中的任务,D
_days参数设置Binlog保留时间。建议将expire_logs_day参数设置在合理的范围,确保恢复时断点处的Binlog尚未过期,以保证任务中断后的顺利恢复。 不通过原因 源数据库的expire_logs_days参数设置为0。 处理建议 如果源数据库为云上RDS for
对于源数据库和目标数据库的版本有差异的同步链路,由于不同版本之间的部分特性差异,可能会出现语法兼容性问题,详情可参考MySQL不同版本之间的语法差异。 表名映射时,不支持同步视图、存储过程、函数依赖的表,不支持同步表的外键约束。 对于表中的物理生成列,如果列是根据一个时间类型生成的,会存在此列数据不一致的可能性。
可按照流类型的不同进行确定。 X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。
源数据库 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的select权限(用于同步用户的密码)。 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog
实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。 规格 通用型 4 vCPUs | 8GB - DRS迁移任务 迁移任务名 DRS-mysql 自定义 源数据库引擎 MySQL 本示例中源数据库为自建MySQL,即在华为云弹性云服务器上安装社区版MySQL。 目标数据库引擎
目标数据库中不允许存在与源数据库中的库同名的库。 处理建议:根据实际情况判断是否需要删除目标数据库中与源数据库同名的库、或指定一个新的RDS实例进行迁移。 Redis->GeminiDB Redis迁移场景 表2 目标数据库是否存在和源数据库同名的数据库 预检查项 目标数据库是否存在和源数据库同名的数据库 描述
为源地址、随机端口作为源端口范围,RDS源数据库的IP作为目的地址、监听端口作为目的端口范围。 华为云ECS自建数据库添加白名单。 华为云ECS自建数据库需要添加迁移账号使用DRS私有 IP访问数据库的权限。各种数据库添加白名单的方法不同,请参考各数据库官方文档进行操作。 配置D