检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不支持同步源库中有虚拟列的表。 注意事项 为保证任务的正常运行,DRS提供了自动化的检查方法,在您启动DRS任务前,会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外,您还需要注意的事情参见表4。 表4 注意事项 类型名称
传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图 迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。 启动全量迁移任务。
库实例的子网需要开启DHCP功能,在创建过程中也不能关闭已选子网的DHCP功能。如何创建子网,请参见《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及默认子网”章节。 IP地址或域名 配置源MongoDB数据库实例的访问地址或域名。 端口 配置源MongoDB数据库实例的服务端
DRS产品架构 目前,DRS支持的网络类型有公网网络、VPC网络、VPN网络和专线网络,不同场景下,用户可根据情况进行选择。 原理上DRS采用JDBC连接,无需在用户的源数据库、目标数据库节点部署程序,只需用户的源数据库和目标数据库允许DRS实例节点通过所选择的网络访问和连接即可。 例如,用
测试连接时需要确保DRS任务与源库、目标库的连通性。 网络连通性:确保源库和目标库允许DRS访问,通常至少需要放通DRS的IP。公网网络的DRS任务放通DRS的公网IP,VPC网络、VPN、专线网络的DRS任务放通DRS的内网IP,可参考网络准备章节进行网络打通。 账号连通性:确保源库和目标库允许DRS通过用户名和密码访问。
选择导入对象文件,具体步骤和说明可参考导入同步对象。 说明: 选择对象的时候支持对展开的库进行搜索,以便您快速选择需要的数据库对象。 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。
String 迁移实例所在的私有IP。 public_ip String 迁移实例所在的公网IP。 az_code String 可用区azCode。 security_group_id String 源库所在的安全组ID。 subnet_id String 源库所在的子网ID。 vpc_id
全量+增量同步 源数据库连接账号 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限。 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,无主键表的UPDATE、DELETE和TRUNCATE权限,REPLICATION连接权限。
READ、WRITE。 同步对象约束 支持表数据的同步。 不支持数据库、视图、索引、约束、函数、存储过程、触发器(TRIGGER)和事件(EVENT)的同步。 不支持系统库的同步以及事件状态的同步。 不支持主键为FLOAT类型的表的同步。 不支持无主键表的同步。 全量和增量同步不支持隐藏列(INVISIBLE),隐藏列是MySQL
通过DRS迁移MySQL分库分表总流程 本实践的主要任务流如图1所示: 图1 操作流程 表1 迁移流程 序号 步骤 说明 1 迁移前构造数据 迁移前在源端数据库构造数据,供迁移后查看是否迁移成功。 2 目标端DDM准备 创建VPC和安全组:为创建实例准备网络资源。 创建DDM实例:创建目标端DDM实例。
修改数据库后,到SDK的用户端消费一般有多长时间的延迟 如果用户消费没有延迟,1s内就可以收到这条变更。 父主题: 数据订阅
源数据库连接账号 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的select权限(用于同步用户的密码)。 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog
DRS任务创建的可用区,选择跟源或目标库相同的可用区性能更优。 企业项目和标签 图5 企业项目和标签 表4 企业项目和标签 参数 描述 企业项目 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。请在下拉框中选择所在的企业项目,其中,default为默认项目。
登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 单击“创建迁移任务”。 填写迁移任务参数: 配置迁移任务名称。 填写迁移数据并选择模板库。 这里的目标库选择创建DDM实例所创建的DDM实例。 单击“开始创建”。
查询可用的Node规格 功能介绍 查询可用的Node规格。 URI GET /v3/{project_id}/node-type 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。
源数据库 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的select权限(用于同步用户的密码)。 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog
方法1:登录虚拟私有云服务的控制台界面,单击VPC下的子网,进入子网详情页面,查找网络ID。 方法2:通过虚拟私有云服务的API接口查询,具体操作可参考查询子网列表。 security_group_id 否 String 数据库实例所在的安全组ID,获取方法如下: 方法1:登录虚拟私有云服务的控制台
描述 当前不支持数据库和schema的迁移,需要手动创建目标端的数据库和schema,否则会导致迁移失败。 不通过提示及处理建议 不通过原因:MySQL到PostgreSQL的迁移当前不支持数据库的迁移。 处理建议:请手动在目标数据库创建好与源数据库同名的数据库、schema。
需要注意的是,大字段过滤功能是将字段的内容进行替换,并不是替换整个DML记录。如果一条DML记录中有很多大字段,这些字段只有部分字段的内容大小超过设置的过滤阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。
READ、WRITE。 同步对象约束 支持表数据的同步。 不支持数据库、视图、索引、约束、函数、存储过程、触发器(TRIGGER)和事件(EVENT)的同步。 不支持系统库的同步以及事件状态的同步。 不支持主键为FLOAT类型的表的同步。 不支持无主键表的同步。 全量和增量同步不支持隐藏列(INVISIBLE),隐藏列是MySQL