检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加工 更新指定任务数据加工规则 获取指定任务数据加工规则更新结果 查询数据加工规则 数据过滤规则校验 获取数据过滤校验结果 采集指定数据库表的列信息 获取指定数据库表列信息 父主题: API v5(公测中)
构造数据 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。
数据类型映射关系 由于异构数据库之间的数据类型不是一一对应的,所以数据复制服务在进行迁移或同步时,会根据两种不同的数据库类型进行对应的数据类型映射。 本章节根据不同的数据库引擎,提供对应的数据库映射关系列表,方便您在进行数据库迁移或同步的时候参考。 MySQL->PostgreSQL
显示订阅数据的时间段,设置的时间段必须在订阅任务的数据范围内。 图2 查看订阅数据 订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。
支持的数据库 数据复制服务支持多种数据源之间的数据流通,实时迁移、备份迁移、实时同步、数据订阅和实时灾备对不同数据库的支持情况如下所示。 实时迁移 实时迁移适用于跨云平台、云下数据库迁移上云或云上跨区域等多种业务场景的全部数据库对象迁移,其支持的数据库、版本和迁移类型如下所示,更多实时迁移的功能特性可参考实时迁移。
目标数据库是否存在和源数据库同名的数据库 MySQL迁移场景 表1 目标数据库是否存在和源数据库同名的数据库 预检查项 目标数据库是否存在和源数据库同名的数据库 描述 校验用户提供的目标数据库是否存在与源数据库相同的数据库。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行。
迁移数据库 本章节介绍创建DRS实例,源端MySQL分库分表的数据迁移到DDM实例中db_test_info逻辑库中。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 在迁移前,您需要参考DRS使用须知获取迁移相关说明。 创建迁移任务 登录华为云控制台。
源数据库存在加密的数据库对象 Microsoft SQL Server为源场景 表1 源数据库存在加密的数据库对象 预检查项 源数据库存在加密的数据库对象。 描述 检查源数据库存在加密的数据库对象。 不通过提示及处理建议 不通过原因:源数据库存在加密的数据库对象。 处理建议:返回
数据复制服务对目标数据库有什么要求 在创建任务时,用户填写的连接目标数据库的用户,需具备一定的权限。不同链路的具体权限可参考使用须知中权限要求。 实时迁移请参考实时迁移方案概览 备份迁移请参考备份迁移方案概览 实时同步请参考实时同步方案概览 数据订阅强参考数据订阅使用须知 实时灾备请参考实时灾备方案概览
查询监控数据 功能介绍 获取任务监控数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v5/{project_id}/jobs/{job_id}/monitor-data
听端口作为目的端口范围。 华为云ECS自建数据库添加白名单。 华为云ECS自建数据库需要添加迁移账号使用DRS私有 IP访问数据库的权限。各种数据库添加白名单的方法不同,请参考各数据库官方文档进行操作。 配置DRS迁移实例所在安全组和DRS所在子网的网络ACL。 VPC默认没有网
什么是数据复制服务 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。 数据复制服务围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。 您可通过数据复制服务
db_object_column_info字段数据结构说明 参数 参数类型 描述 db_name String 数据库库名称。 schema_name String 数据库schema名称。 table_name String 数据库表名称。 column_infos Array of objects 数据库列信息。
源数据库索引(_id)检查 MongoDB迁移场景 表1 源数据库索引(_id)检查 预检查项 源数据库索引(_id)检查。 描述 检查源库是否存在没有索引(_id)的集合,若存在,则导致迁移失败。 待确认提示及处理建议 不通过原因:源数据库存在没有索引(_id)的集合。 处理建
指定需要恢复的数据库 您可以选择将全部数据库或部分数据库进行恢复,默认恢复全部数据库。 全部数据库:恢复备份文件中所有的数据库,不需要填写待还原的数据库名。 部分数据库:恢复备份文件中的部分数据库,需要填写待还原的数据库名。全量备份与增量备份需要保证指定恢复的数据库始终一致。 重置数据库名
同步前构造数据 同步前需要在源库构造一些数据类型,供同步完成后验证数据。 DRS支持的数据类型如下所示: 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力
查看灾备数据 灾备数据记录了灾备任务完成的记录,您可以通过该功能,了解灾备的完整性。 数据复制服务支持通过管理控制台查看灾备数据的初始化进度及数据健康报告。 前提条件 已登录数据复制服务管理控制台。 已成功创建数据灾备任务。 操作步骤 任务列表中,仅展示当前登录用户所创建的全部任
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成
查看异常数据 同步过程中可能因数据冲突、数据加工、异构类型转化、对象缺失等因素导致数据异常,您可以通过“异常数据”页签查看,以帮助异常写入的排查。 目前仅DDM->GaussDB(DWS)、DDM->Oracle、Oracle->GaussDB(DWS)、Oracle->RDS for
会导致源库的加密数据同步到目标库之后,在目标库执行解密无法还原出原始数据值。 不通过原因 源数据库和目标数据库的参数block_encryption_mode设置不一致。 处理建议 如果确认未使用相关的加解密函数去操作业务,可以选择跳过该检查项。 如果需要修改数据库block_e