检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。 同步模式 DRS任务支持的同步模式,此处以“全量+增量”为示例。DRS全量、增量底层实现原理可参考产品架构和功能原理。 “全量+增量”: 该模式为数据持续性
用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language 否 String 请求语言类型。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型
包含三个阶段)。为了确保同步各个阶段的平顺,DRS在任务正式启动前,会对任务源数据库、目标数据库中的参数、对象等信息进行自动化的扫描和检测,帮助您提高数据同步的成功率。 概览 根据同步任务的源数据库类型,查看预检查信息: 源数据库为MySQL的同步链路预检查一览表: MySQL->MySQL
租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 job_id 是 String 任务ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json
目前只支持迁移源库的数据,不支持迁移源库表结构及其他数据库对象。 仅支持MyISAM和InnoDB表的迁移。 不支持系统库的迁移以及事件状态的迁移。 不支持无主键表的迁移。 不支持宽松模式可以写入但严格模式下无法写入的非标浮点类型的数据的迁移,这种非标浮点类型数据可能会有无法命中的风险导致数据迁移失败。
Integer 当前页, 不能超过传入jobID数量除每页任务数量的最大页。 最小值:1 缺省值:1 per_page 否 Integer 每页item数量,填0获取全部item。 最小值:0 最大值:100 缺省值:5 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型
同步前保证目标库已创建好对应的表结构,且与源端一致;如果进行了列加工,请保证跟列加工后的表结构保持一致。 目标库已启用的触发器不可以与同步表关联。 目标库必须有足够的磁盘空间。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端i
String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json
需要注意的是,大字段过滤功能是将字段的内容进行替换,并不是替换整个DML记录。如果一条DML记录中有很多大字段,这些字段只有部分字段的内容大小超过设置的过滤阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。
需要注意的是,大字段过滤功能是将字段的内容进行替换,并不是替换整个DML记录。如果一条DML记录中有很多大字段,这些字段只有部分字段的内容大小超过设置的过滤阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。
不同VPC场景下,如何实现源库和目标库的网络互通 DRS支持通过多种方式的网络进行数据迁移,包括:VPC网络、VPN网络、专线网络和公网网络,其中VPC网络适合云上同Region数据库之间的迁移。 源数据库所在的区域要和目标数据库实例所在的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。
新建工单”,完成工单提交。 灾备关系 选择“本云为备”,灾备类型选择“单主灾备”时该选项可见。 灾备关系可以为“本云为备”或者“本云为主”,默认选择“本云为备”。 “本云为备”:指灾备数据库为本云数据库的场景。 “本云为主”:指业务数据库为本云数据库的场景。 业务数据库引擎 选择“MySQL”。
同步前保证目标库已创建好对应的表结构,且与源端一致;如果进行了列加工,请保证跟列加工后的表结构保持一致。 目标库已启用的触发器不可以与同步表关联。 目标库必须有足够的磁盘空间。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端i
务场景选择对应的数据进行同步。 说明: 选择对象的时候支持对展开的库进行搜索,以便您快速选择需要的数据库对象。 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。
为原来的值。 目标数据库对象要求: 目标库必须有足够的磁盘空间。 目标数据库中的库、模式、表对象结构需要提前创建。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。
确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。
重置同步位点 对于MySQL->GaussDB(DWS)的实时同步链路,DRS支持增量位点重置功能,可根据用户选择的重置位点时间,将同步任务调整到问题发生之前,重新同步。 约束限制 目前仅支持引擎为MySQL->GaussDB(DWS)的同步任务支持重置位点。 任务在增量阶段时,需要先暂停任务,再进行重置位点。
全量+增量同步 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的SELECT权限(用于同步用户的密码),无主键表的UPDATE、DELETE和TRUNCATE权限(用于对无主键表的短暂加锁,保证迁移后数据一致)。
支持单增量到全量+增量、全量+增量到单增量的修改方式。 支持状态为配置中、增量中、增量失败的任务进行修改。 操作步骤 在“实时同步管理”页面的任务列表中,选择要修改的任务,单击任务名称。 在“基本信息”页签的“同步实例信息”区域,单击同步模式后的,进行修改。 单击,提交修改。 单击,取消修改。
对于获取用户Token的接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainnname为用户所属的账号名称,********为用户登录密码,projectname为project