正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据订阅 数据订阅是获取数据库中关键业务的数据变化信息,并将其缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费,其支持的数据库和订阅的数据类型如表25所示,更多数据订阅的功能特性可参考数据订阅。 表25 数据库信息 数据库引擎 支持订阅的数据类型 RDS for MySQL
通过云审计服务,您可以记录数据复制服务的相关操作事件,方便您日后的查询、审计和回溯。具体内容请参见支持审计的关键操作列表。 日志 DRS任务日志记录了数据迁移过程中的信息,包含告警、错误和提示等类型的信息。您可以通过查看日志信息,帮助您分析系统中存在的问题,进行任务修复。具体操作请参见查看迁移日志。
MySQL) MySQL->Kafka MySQL->CSS/ES MySQL->Oracle 操作步骤 在“实时同步管理”界面,选择指定的同步任务。 单击任务名称,页面跳转至“基本信息”页面。 单击左侧“参数管理”,在“参数”页签可对当前同步任务的参数信息进行修改。 图1 查看参数信息 修
不支持默认值含有表达式的函数的表的同步。 不支持同步源库中的临时表。 不支持同步源库中有虚拟列的表。 不支持同步既是无主键表,又是分区表的自建表,可能会导致任务失败。 注意事项 为保证任务的正常运行,DRS提供了自动化的检查方法,在您启动DRS任务前,会针对源数据库和目标数据库的相关配置、条
全量或增量阶段,DRS迁移或同步任务报错,日志提示信息:service LOGMANAGER failed, cause by: binlog is not existed 可能原因 源库binlog已经被清理,DRS无法从源库获取到和当前同步位点接续的日志。 解决方案 重建DRS任务。 父主题:
SQL Server到Kafka的JSON格式定义详情参考表4。 表2 MySQL到Kafka的参数说明 参数名称 说明 mysqlType 源端表字段名称和类型。 id DRS内部定义的事件操作的序列号,单调递增。 es 源库产生这一条记录的时间,13位Unix时间戳,单位为毫秒。
在“对象选择”区域选择需要加工的对象。 图5 列加工 单击右侧已选对象的“编辑”。 在“编辑列”中,勾选需要映射的列,填写映射后的“新列名”。 图6 编辑列 列加工提供列级的查询、映射和过滤能力。 编辑列名后,目标数据库的列名为修改后的名称。 列映射名不能和原列名或已存在的映射名相同。 不支持库名、表名带有换行符的列进行映射。
DRS任务在迁移过程中由于不确定因素导致迁移任务失败,后台会进行多次断点续传的重试,无需人工干预。但有时候存在无法自动修复的场景,比如源日志被人为强制清理,导致无法继续迁移任务,则可通过重置功能,重新开始迁移而不用再次配置任务。 DRS目前支持以下迁移链路的重置: MySQL->MySQL MySQL->DDM
日志提示信息:service LOGMANAGER failed, cause by: database log download failed, error code is %s. 可能原因 源库binlog已经被清理,DRS无法从源库获取到和当前同步位点接续的日志。 解决方案
重置同步位点 对于MySQL->GaussDB(DWS)的实时同步链路,DRS支持增量位点重置功能,可根据用户选择的重置位点时间,将同步任务调整到问题发生之前,重新同步。 约束限制 目前仅支持引擎为MySQL->GaussDB(DWS)的同步任务支持重置位点。 任务在增量阶段时,需要先暂停任务,再进行重置位点。
只读:目标数据库整个实例将转化为只读、不可写入的状态,迁移任务结束后恢复可读写状态,此选项可有效的确保数据迁移的完整性和成功率,推荐此选项。 读写:目标数据库可以读写,但需要避免操作或接入应用后会更改迁移中的数据(注意:无业务的程序常常也有微量的数据操作),进而形成数据冲突、任务故障、
媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。用户Token也就是调用IAM获取用户Token接口的响应值,请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。
200000”。 图1 对比失败 问题分析 由于对比的表数据模型比较特殊,对比任务无法自动分片对比,导致任务失败。 解决方案 重新创建内容对比任务,对比对象不勾选报错的表。 单击任务名称,进入基本信息页面。 以同步任务为示例,单击“同步对比”页签,进入“同步对比”信息页面。 选择“数据级对比”页签,单击“创建对比任务”。
N IP+ SERVICE_NAMES方式创建任务,因为SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 如果需要使用SCAN IP,需要保证SCAN IP与源库的所有VIP互通,否则无法通过测试连接检查。 若不使用SCAN IP,可以使用某一节点的VIP,其他节点异常不影响同步。
对于源数据库和目标数据库的版本有差异的同步链路,由于不同版本之间的部分特性差异,可能会出现语法兼容性问题,详情可参考MySQL不同版本之间的语法差异。 表名映射时,不支持同步视图、存储过程、函数依赖的表,不支持同步表的外键约束。 对于表中的物理生成列,如果列是根据一个时间类型生成的,会存在此列数据不一致的可能性。
订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。 表名 这条变更记录对应的表的表名。 变更类型 这条变更记录的变更类型,
全量或增量阶段失败报错,关键词“service *** failed, cause by: Unable to connect to DBMS: ***” 场景描述 全量或增量同步期间DRS任务报错,同步日志界面提示:service *** failed, cause by: Unable
全量或增量阶段失败报错,关键词“service *** failed, cause by: Unable to connect to DBMS: ***” 场景描述 全量或增量阶段,DRS迁移或同步任务报错,日志提示信息:service *** failed, cause by:
备份迁移失败,提示备份的源数据库不在备份文件列表中 备份迁移失败,提示同名数据库已经存在 备份迁移失败,提示使用的是增量备份文件 备份迁移失败,提示使用的是日志备份文件 备份迁移失败,提示备份校验文件失败 备份迁移失败,提示空间不足 备份迁移失败,提示请指定具体的库名 备份迁移失败,提示使用的是全量备份文件
云审计服务(Cloud Trace Service,简称CTS)记录数据复制服务相关的操作事件,方便您日后的查询、审计和回溯。 云审计服务的更多信息,请参见《云审计服务用户指南》。 云监控服务 云监控服务(Cloud Eye Service,简称CES)是一个开放性的监控平台,帮