检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑地实现数据迁移。 业务架构图 迁移原理
table> TO <user>; 目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。
查看迁移日志 迁移日志记录了数据迁移过程中的信息,包含告警、错误和提示等类型的信息。迁移过程中,可以通过查看迁移日志信息,帮助您分析系统中存在的问题。操作日志记录了您创建任务、设置任务限速、任务启动等关键操作日志。 前提条件 已登录数据复制服务控制台。 已成功创建迁移任务。 操作步骤
置支持DCL语句,不支持通过更新mysql.user表进行的账号变更。 MySQL实时同步:不支持同步账号。 MySQL实时灾备:不支持对系统库下自定义对象有操作权限的账号灾备;不支持进行灾备对象选择。灾备阶段支持DCL语句,不支持通过更新mysql.user表进行的账号变更。 父主题:
在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考“故障排查”章节进行排查。 其他限制 对于目标库MariaDB的系统参数enforce_storage_engine,如果该参数值为InnoDB,那么DRS不支持同步存储引擎为MyISAM的表结构和数据到目
table> TO <user>; 目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。
数据类型不兼容时,可能引起同步失败。 源数据库中存在主键重复的数据时,直接同步将导致目标库数据比源库少,请务必检查并订正数据后启动同步。 源库的表如果包含系统列_ddm_lock、_slot,该列下的数据在全量、增量同步过程中都会被过滤,导致数据丢失。 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。
table> TO <user>; 目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。
最大支持上传500KB的证书文件。 如果不启用SSL安全连接,请自行承担数据安全风险。 源数据库的IP地址或域名、数据库用户名和密码,会被系统加密暂存,直至删除该同步任务后自动清除。 目标库信息配置 图7 目标库信息 表10 目标库信息 参数 描述 数据库实例名称 默认为创建同步任务时选择的RDS
API概览 数据复制服务所提供的接口为REST(Representational State Transfer)风格API。通过使用DRS接口,您可以使用DRS的所有功能,包括创建迁移任务、获取任务详细信息、获取迁移任务列表、删除迁移任务等。 表1 v3接口说明 类型 子类型 说明
Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。
Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。
Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。
表3 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language
表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language
0天后自动清除。 MySQL为源链路,源数据库中的虚拟列不支持内容对比,对比时会过滤虚拟列。 对数据库影响 对象对比:会查询源库及目标库的系统表,占用10个左右的session的连接数,正常情况不会对数据库产生影响。但是如果对象数量巨大(比如几十万张表),可能会对数据库产生一定的查询压力。
表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language
Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM
期,合理设置同步任务的启动时间。 任务异常通知设置 该项为可选参数,开启之后,选择对应的SMN主题。当同步任务状态、时延指标或数据异常时,系统将发送通知。 SMN主题 “任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。
支持选择表级迁移。 目前只支持迁移源库的数据,不支持迁移源库表结构及其他数据库对象。 仅支持MyISAM和InnoDB表的迁移。 不支持系统库的迁移以及事件状态的迁移。 不支持无主键表的迁移。 不支持宽松模式可以写入但严格模式下无法写入的非标浮点类型的数据的迁移,这种非标浮点类