检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加工 更新指定任务数据加工规则 获取指定任务数据加工规则更新结果 查询数据加工规则 数据过滤规则校验 获取数据过滤校验结果 采集指定数据库表的列信息 获取指定数据库表列信息 父主题: API v5(公测中)
构造数据 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。
什么是数据复制服务 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。 数据复制服务围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。 您可通过数据复制服务
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成
显示订阅数据的时间段,设置的时间段必须在订阅任务的数据范围内。 图2 查看订阅数据 订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。
数据库参数检查 源数据库binlog日志是否开启 源数据库binlog格式检查 源数据库expire_logs_days参数检查 源数据库和目标数据库的字符集是否一致 源数据库参数server_id是否符合增量迁移要求 源数据库和目标数据库表名大小写敏感性检查 源数据库中是否存在非ASCII字符的对象名称
数据保护技术 DRS通过多种数据保护手段和特性,保障传输中数据的安全性和完整性。 主机安全及数据可靠、持久性 DRS底层的计算资源使用了弹性云服务器,存储资源则使用了云硬盘,充分利用了弹性云服务器及云硬盘提供的安全和可靠性能力,来保证DRS实例的主机安全性、数据可靠性及数据持久性。
参数类型 描述 id 否 String 两层数据库场景: 数据库名称和数据库表名称,例如格式为t_auto_db---users,其中t_auto_db为数据库名称,users为表名称。 三层数据库场景: 数据库名称、数据库schema名称、数据库表名称,例如格式为t_auto_db-
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象
查询监控数据 功能介绍 获取任务监控数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v5/{project_id}/jobs/{job_id}/monitor-data
立即启动数据级表对比任务 功能介绍 立即启动数据级表对比任务。 URI POST /v3/{project_id}/jobs/{job_id}/table/compare/{compare_job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
目标数据库是否冲突 MySQL迁移场景 表1 目标数据库是否冲突 预检查项 目标数据库是否冲突。 描述 检查目标数据库是否正在被别的迁移任务使用,当多个迁移任务使用同一个目标数据库,可能会导致迁移失败。 不通过提示及处理建议 不通过原因:RDS实例已经在其他的迁移任务中。 处理建
RDS全量备份:关系型数据库实例自动或手动生成的全量备份。 操作须知 目标数据库的可用磁盘空间大小至少为待还原数据库总数据量大小的1.5倍。 待还原数据库名称,必须跟备份文件中数据库名称一致(区分大小写)。 不支持源数据库中开启TDE加密的数据库进行备份迁移。 不支持高版本的数据库备份文件在
内容对比不支持哪些数据类型 DRS提供的数据比对功能可以清晰反馈出源数据库和目标数据库的数据是否存在差异。 目前对于以下数据类型,DRS不支持内容对比,进行内容对比时会自动跳过。 表1 不支持内容对比的数据类型 源数据库类型 数据类型 MySQL TINYBLOB、BLOB、ME
源数据库用户权限是否足够 预检查用户提供的源数据库账号权限是否符合要求,不同数据库引擎,全量阶段和增量阶段所需源数据库账号权限不同。 不通过原因 连接源数据库的用户权限不足。 处理建议 在使用DRS进行迁移或同步时,连接源数据库的账号需要满足一定的权限要求,才能启动任务。不同引擎
源数据库和目标数据库的字符集是否一致 检查源数据库和目标数据库的数据库的字符集是否一致。当源数据库和目标数据库字符集不一致时,可能导致部分数据乱码、数据不一致等问题 不通过原因 源数据库和目标数据库字符集不一致。 处理建议 修改源数据库或者目标数据库字符集。 数据库为MySQL时,可通过以下方式进行修改:
查看异常数据 同步过程中可能因数据冲突、数据加工、异构类型转化、对象缺失等因素导致数据异常,您可以通过“异常数据”页签查看,以帮助异常写入的排查。 目前仅DDM->GaussDB(DWS)、DDM->Oracle、Oracle->GaussDB(DWS)、Oracle->RDS for
db_object_column_info字段数据结构说明 参数 参数类型 描述 db_name String 数据库库名称。 schema_name String 数据库schema名称。 table_name String 数据库表名称。 column_infos Array of objects 数据库列信息。
提交查询数据库对象信息 功能介绍 提交查询数据库对象信息。例如: 当type取值为source时,表示查询源库库表信息。 当源库库表信息有变化时,则type取值为source,is_refresh取值为true。 当已同步到目标库的库表信息过大,需要提前将数据加载到缓存中时,type取值为synchronized。
查看灾备数据 灾备数据记录了灾备任务完成的记录,您可以通过该功能,了解灾备的完整性。 数据复制服务支持通过管理控制台查看灾备数据的初始化进度及数据健康报告。 前提条件 已登录数据复制服务管理控制台。 已成功创建数据灾备任务。 操作步骤 任务列表中,仅展示当前登录用户所创建的全部任