检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签
Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签
Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签
同步对象选择db_test下的table3_表。 单击“下一步”。 选择数据加工方式。RDS for MySQL到Kafka数据同步目前只支持列加工,列加工提供列级的查询和过滤能力。 单击“下一步”,等待预检查结果。 当所有检查都是“通过”时,单击"下一步”。 确认同步任务信息正确后,单击“启动任务”。 返回DRS实时同步管理,查看同步任务状态。
务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了DRS使用过程中的安全最佳实践,旨在为数据迁移过程中的安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估DRS任务的安全状态,更加安全的完成数据迁移,提高数据迁移整体安全防御能力,使得权限最小化,数据不篡改、不泄露。
大吞吐量为350MB/S。 规格 通用型 4 vCPUs | 16 GB 根据自己业务承载选择规格。 Kafka(目标端) Kafka实例名 kafka-drs 自定义,易理解可识别。 版本 2.3.0 - 可用区 可用区三 可选择1个或者3个及以上可用区。实际业务场景推荐选择创建在不同的可用区,提升业务可靠性。
查项和对应的处理建议请参考预检查项。除了预检查项目之外,您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 使用限制 通用: 不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 源库不允许有未提交的DDL事务。 全量同步阶段:
创建实时迁移任务 实时迁移是指在数据复制服务能够同时连通源数据库和目标数据库的情况下,只需要配置迁移的源、目标数据库实例及迁移对象即可完成整个数据迁移过程,再通过多项指标和数据的对比分析,帮助确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 本文以本地MySQL迁移到云上RDS
协调节点数量 3 - 存储类型 超高IO - 可用区 可用区2 本示例中选择了单可用区,实际建议选择多可用区,以提高实例的高可用性。 性能规格 通用增强Ⅱ型 8 vCPUs | 64GB 本示例中为测试实例,选择较小的测试规格,实际选择规格以业务诉求为准。 存储空间 480G 本示例中
目标数据库实例”、“同步实例所在子网”(非必选)、“同步模式”,选择“规格类型”和“可用区”,选填“标签”。 单击“开始创建”。 配置源库及目标库信息。 填写源库的IP、端口、用户、密码等信息。 填写完成后,需要单击“测试连接”,测试连接信息是否正确。 填写目标库的账户和密码。
源库表结构是否存在虚拟列 Oracle为源同步时,DRS会检查源库表结构是否存在虚拟列。 不通过原因 源库存在虚拟列,目前不具备虚拟列数据同步能力,会导致同步数据不完整。 处理建议 在预检查结束之后、启动任务之前,在目标库创建存在虚拟列的表结构。 父主题: 数据库参数检查
果集返回给CN进行汇总,最后CN将汇总后的结果返回给业务应用。 分布式形态能够支撑较大的数据量,且提供了横向扩展的能力,可以通过扩容的方式提高实例的数据容量和并发能力。扩容操作详见扩容实例。 DRS同步网络示意图 本示例中,DRS源数据库为华为云GaussDB分布式版,目标端为分
注册华为云账号后,如果需要对华为云上的资源进行精细管理,请使用统一身份认证服务(Identity and Access Management,简称IAM)创建IAM用户及用户组,并授权,以使得IAM用户获得具体的操作权限,更多操作,请参见创建用户组、用户并授予DRS权限。 在进行实时同步前,用户需要提前准备好源和目标数据库。
对于支持内容对比的灾备链路,如果创建任务时可以选择实例规格,那么仅支持大规格及以上规格进行内容对比。 MySQL、GaussDB(for MySQL)为源链路,源数据库中的虚拟列不支持内容对比,对比时会过滤虚拟列。 对数据库影响 对象对比:会查询源库及目标库的系统表,占用10个左右的session的连接
源物理分片数据库不支持枚举类型和set集合类型的。 源库的timestamp列的默认值,需要在目标库的合理取值内,否则会导致同步失败。 使用限制 通用: 不允许源端DDM正在同步的表做改变拆分键的操作,也不允许将单表/广播表改为拆分表,拆分表改为单表/广播表。 全量同步阶段: 全量阶段基
SELECT、SHOW VIEW、EVENT。 用户迁移时,如果源数据库为8.0版本,需要有mysql.user表的SELECT权限;如果为5.7及以下版本,则需要mysql系统库的SELECT权限。 需要具备如下最小权限: SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION
LECT权限。 授权语句:GRANT SELECT ON <userName.tbName> to drsUser; 12c及以上版本租户模式: 12c及以上版本CDB数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,EXECUTE_CATALOG_ROLE,SELECT
PostgreSQL 11.11及以上,还要求目标库连接用户为root用户或root用户的成员。 目标库版本为PostgreSQL 15时,库级同步及表级同步目标库没有建库的场景下,全量或增量同步的过程中,可能会由于没有模式public的USAGE及CREATE权限而导致同步失败。
ySQL为源库的数据过滤每次最多支持10000张表。 过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法,须使用通用SQL标准。 URI POST /v3/{project_id}/jobs/batch-transformation 表1 路径参数 参数
oplog:支持MongoDB 3.2及以上版本,DRS直接连接源数据库实例的每一个Shard进行数据抽取。选择此方式时,必须关闭源库实例集合均衡器Balancer,测试连接时需要填写源数据库每一个Shard的连接信息。 changeStream:支持MongoDB 4.0及以上版本,DRS连接源