检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交查询数据库对象信息 功能介绍 提交查询数据库对象信息。例如: 当type取值为source时,查询源库库表信息。 当源库库表信息有变化时,type取值为source,is_refresh取值为true。 当已同步到目标库的库表信息过大,需要提前将数据加载到缓存中时,type取值为synchronized。
提交查询数据库对象信息 功能介绍 提交查询数据库对象信息。例如: 当type取值为source时,表示查询源库库表信息。 当源库库表信息有变化时,则type取值为source,is_refresh取值为true。 当已同步到目标库的库表信息过大,需要提前将数据加载到缓存中时,type取值为synchronized。
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成
数据订阅 支持的数据源类型 数据订阅支持的数据源类型包括: RDS for MySQL实例 支持的订阅对象 数据订阅的订阅对象可以为:表级订阅。 数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)和结构变更(Data Definition
数据类型映射关系 由于异构数据库之间的数据类型不是一一对应的,所以数据复制服务在进行迁移或同步时,会根据两种不同的数据库类型进行对应的数据类型映射。 本章节根据不同的数据库引擎,提供对应的数据库映射关系列表,方便您在进行数据库迁移或同步的时候参考。 MySQL->PostgreSQL
确认数据迁移结果 确认升级迁移结果有两种方式: 方式一:(自动)在DRS管理控制台查看迁移结果。DRS会针对迁移对象、用户、数据等维度进行对比,从而给出迁移结果。 方式二:(手工)在TaurusDB管理控制台查看迁移结果。直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况。
导出数据库备份文件 本小节介绍了数据库全量备份文件和事务日志(增量)备份文件的导出方法。 检查本地数据库参数配置。 该操作为全量+增量迁移的必操作项,仅进行全量迁移时,可以跳过该步骤。 由于数据库存在日志截断和收缩配置,在导出全量备份文件前,需要将数据库恢复模式配置成“完整”模式
object_scope String 该数据库在实时同步场景下的类型。 target_root_db Object 数据库对象迁移或同步目标库信息,两层到三层数据库同步需要填写。 详情请参见表5。 object_info Map<String,DatabaseObject> 数据库对象迁移或同步信息。
数据库参数检查 源数据库binlog日志是否开启 源数据库binlog格式检查 源数据库expire_logs_days参数检查 源数据库和目标数据库的字符集是否一致 源数据库参数server_id是否符合增量迁移要求 源数据库和目标数据库表名大小写敏感性检查 源数据库中是否存在非ASCII字符的对象名称
CSF网络安全框架的最高等级认证。 高可靠性 多种部署及容灾方案 数据备份、数据恢复、双机热备、异地容灾、同城容灾,多种部署及容灾方案,为数据可靠性保驾护航。 服务列表 虚拟私有云 VPC 弹性云服务器 ECS 云数据库RDS 数据复制服务 DRS 使用说明 本实践的资源规划仅作为
数据订阅 修改数据库后,到SDK的用户端消费一般有多长时间的延迟 订阅SDK获取不到数据,且程序异常
显示订阅数据的时间段,设置的时间段必须在订阅任务的数据范围内。 图2 查看订阅数据 订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。
数据对比 对比任务报错,关键词“失败报错:service SDV failed! cause by: the size of records in one shard[ *** ] of target database, exceeds the max size 200000”
Owner尽量是同一个账号方便管理。 关键配置 用户将数据库还原到RDS for SQL Server实例上之后,本地的一些重要配置项也需要进行同步确认,避免影响业务的正常使用。 tempdb:临时数据库的文件配置需要进行同步。 推荐配置为8个临时文件,注意路径一定要确保在D:\RDSDBDATA\Temp\
数据加工 更新指定任务数据加工规则 获取指定任务数据加工规则更新结果 查询数据加工规则 数据过滤规则校验 获取数据过滤校验结果 采集指定数据库表的列信息 获取指定数据库表列信息 父主题: API v5(公测中)
源数据库和目标数据库的字符集是否一致 检查源数据库和目标数据库的数据库的字符集是否一致。当源数据库和目标数据库字符集不一致时,可能导致部分数据乱码、数据不一致等问题 不通过原因 源数据库和目标数据库字符集不一致。 处理建议 修改源数据库或者目标数据库字符集。 数据库为MySQL时,可通过以下方式进行修改:
构造数据 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。
GaussDB集中式版为源任务配置方法 GaussDB集中式版为源任务配置方法有两种,修改配置文件、通过gs_guc修改。 修改配置文件操作步骤 登录GaussDB集中式版数据库所有节点。 查询配置文件位置: find / -name "pg_hba.conf" 或者 find /
源数据库的集合名是否合法 MongoDB迁移场景 表1 源数据库集合名称是否合法 预检查项 源数据库集合名称是否合法。 描述 该项校验源数据库的集合名中是否包含非法的字符,若包含非法字符会导致迁移失败。 不通过原因:源数据库集合名包含不支持的字符:“'”、“<”和“>”。 处理建
处理建议:修改包含非法字符的数据库库名或者返回到对象选择页面迁移合法库名的数据库。 Oracle数据库迁移场景 表3 源数据库库名是否合法 预检查项 源数据库库名是否合法。 描述 源数据库的库名不支持的字符有:非ASCII字符、“. ”、 “>”、 “<”、 “\”、 “`”、 “|”、