检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
存在约束不验证添加前数据 Oracle同步场景 表1 存在约束不验证添加前数据 预检查项 存在约束不验证添加前数据。 描述 当前源数据库的表存在特殊constraint类型,该constraint添加时仅对新数据进行约束检查,并不检查存量数据是否满足约束条件,所以源表可能存在部分
任务创建成功之后,且完成数据库对象选择后再调用启动任务接口。详情可参考任务创建流程。 每张表仅支持添加一个校验规则。 Oracle为源库的数据过滤每次最多支持20000张表,MySQL为源库的数据过滤每次最多支持10000张表。 过滤条件不支持使用某种数据库引擎特有的packege、函数、变量、常量等写法,须使用通用SQL标准。
批量添加资源标签 功能介绍 批量添加资源标签。 URI POST /v5/{project_id}/{resource_type}/{resource_id}/tags/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project
批量添加或删除资源标签 功能介绍 批量添加删除资源标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v5/{project_id}/jobs/{re
DRS数据对比 父主题: 图解数据复制服务
数据对比 内容对比不支持哪些数据类型 DRS对比任务对数据库有什么影响 DRS对比任务耗时预估
创建数据订阅任务 支持的数据库 表1 支持数据库信息 数据库引擎 支持订阅的数据类型 RDS for MySQL 5.6、5.7版本 数据更新 结构更新 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。 数据订阅与
RDS全量备份:关系型数据库实例自动或手动生成的全量备份。 操作须知 目标数据库的可用磁盘空间大小至少为待还原数据库总数据量大小的1.5倍。 待还原数据库名称,必须跟备份文件中数据库名称一致(区分大小写)。 不支持源数据库中开启TDE加密的数据库进行备份迁移。 不支持高版本的数据库备份文件在
数据订阅 支持的数据源类型 数据订阅支持的数据源类型包括: RDS for MySQL实例 支持的订阅对象 数据订阅的订阅对象可以为:表级订阅。 数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)和结构变更(Data Definition
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 对
SDK参考 08 修复 提供数据复制服务常见预检查不通过修复方法,以及任务运行过程中常见失败场景处理方法。 常见预检查项不通过修复方法 源数据库连接是否成功 目标数据库是否连接成功 源数据库用户权限是否足够 目标数据库用户权限是否足够 源数据库版本是否支持 目标数据库版本是否支持 版本是否符合从低到高或者同版本迁移
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 目前仅MySQL引擎支持对比方式选择。
选择目标实例所在的区域。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 左侧导航栏选择“实时同步管理”,单击“创建同步任务”。 配置同步实例信息。 选择区域、项目,填写任务名称。 配置同步实例信息,选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“DRS任
MongoDB数据库迁移过程中,源数据库出现内存溢出(OOM)是什么原因 场景描述 在进行MongoDB数据库迁移的过程中,出现源数据库内存溢出(OOM),导致源数据库不可用,迁移失败。 问题分析 出现上述内存溢出可能存在如下原因: 源数据库的mongod服务单独部署在一台机器上,如果
数据保护技术 DRS通过多种数据保护手段和特性,保障传输中数据的安全性和完整性。 主机安全及数据可靠、持久性 DRS底层的计算资源使用了弹性云服务器,存储资源则使用了云硬盘,充分利用了弹性云服务器及云硬盘提供的安全和可靠性能力,来保证DRS实例的主机安全性、数据可靠性及数据持久性。
数据订阅 修改数据库后,到SDK的用户端消费一般有多长时间的延迟 订阅SDK获取不到数据,且程序异常
数据库参数检查 源数据库binlog日志是否开启 源数据库binlog格式检查 源数据库expire_logs_days参数检查 源数据库和目标数据库的字符集是否一致 源数据库参数server_id是否符合增量迁移要求 源数据库和目标数据库表名大小写敏感性检查 源数据库中是否存在非ASCII字符的对象名称
数据对比 对比任务报错,关键词“失败报错:service SDV failed! cause by: the size of records in one shard[ *** ] of target database, exceeds the max size 200000” 父主题: