检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库相比数据库,主要有以下两个特点: 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的,数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来,进行加工与集成,按照主题进行重组,最终进入数据仓库。
创建RDS备份迁移任务 支持的源和目标数据库 表1 支持的数据库 源数据库版本 目标数据库版本 RDS for SQL Server全量备份文件版本: Microsoft SQL Server 2008 企业版、标准版、Web版 Microsoft SQL Server 2012
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->
数据复制服务对目标数据库有什么要求 在创建任务时,用户填写的连接目标数据库的用户,需具备一定的权限。不同链路的具体权限可参考使用须知中权限要求。 实时迁移请参考实时迁移方案概览 备份迁移请参考备份迁移方案概览 实时同步请参考实时同步方案概览 数据订阅强参考数据订阅使用须知 实时灾备请参考实时灾备方案概览
数据库参数检查 源数据库binlog日志是否开启 源数据库binlog格式检查 源数据库expire_logs_days参数检查 源数据库和目标数据库的字符集是否一致 源数据库参数server_id是否符合增量迁移要求 源数据库和目标数据库表名大小写敏感性检查 源数据库中是否存在非
DRS数据对比 父主题: 图解数据复制服务
支持的数据库 数据复制服务支持多种数据源之间的数据流通,实时迁移、备份迁移、实时同步、数据订阅和实时灾备对不同数据库的支持情况如下所示。 实时迁移 实时迁移适用于跨云平台、云下数据库迁移上云或云上跨区域等多种业务场景的全部数据库对象迁移,其支持的数据库、版本和迁移类型如下所示,更多实时迁移的功能特性可参考实时迁移
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库影响主要体现在
数据类型映射关系 由于异构数据库之间的数据类型不是一一对应的,所以数据复制服务在进行迁移或同步时,会根据两种不同的数据库类型进行对应的数据类型映射。 本章节根据不同的数据库引擎,提供对应的数据库映射关系列表,方便您在进行数据库迁移或同步的时候参考。 MySQL->PostgreSQL
迁移数据库 本章节介绍创建DRS实例,源端MySQL分库分表的数据迁移到DDM实例中db_test_info逻辑库中。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 在迁移前,您需要参考DRS使用须知获取迁移相关说明。 创建迁移任务 登录华为云控制台
同步数据库 本章节介绍创建DRS实例,将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明
目标库空库检查 MySQL灾备场景 表1 目标库空库检查 预检查项 目标库空库检查。 描述 检查目标库是否为空库,若不是空库,会导致灾备失败。 不通过提示及处理建议 不通过原因:目标数据库不是空库。 处理建议:删除目标库中的用户库保证其为空库。 父主题: 目标库实例状态检查
目标数据库是否冲突 MySQL迁移场景 表1 目标数据库是否冲突 预检查项 目标数据库是否冲突。 描述 检查目标数据库是否正在被别的迁移任务使用,当多个迁移任务使用同一个目标数据库,可能会导致迁移失败。 不通过提示及处理建议 不通过原因:RDS实例已经在其他的迁移任务中。 处理建议
目标数据库是否存在和源数据库同名的数据库 MySQL迁移场景 表1 目标数据库是否存在和源数据库同名的数据库 预检查项 目标数据库是否存在和源数据库同名的数据库 描述 校验用户提供的目标数据库是否存在与源数据库相同的数据库。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行
源数据库用户权限是否足够 预检查用户提供的源数据库账号权限是否符合要求,不同数据库引擎,全量阶段和增量阶段所需源数据库账号权限不同。 不通过原因 连接源数据库的用户权限不足。 处理建议 在使用DRS进行迁移或同步时,连接源数据库的账号需要满足一定的权限要求,才能启动任务。不同引擎、
数据库参数SERVER_ID的一致性检查 MySQL迁移时,源数据库和目标数据库的SERVER_ID参数一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的系统参数SERVER_ID相同。 处理建议 修改源数据库或目标数据库的参数SERVER_ID。 父主题: 数据库参数检查
实时迁移 实时迁移是在用户只需要配置迁移的源、目标数据库及迁移对象即可完成整个数据迁移过程,再通过多项指标和数据的对比分析,帮助确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 目前部分功能仅支持白名单用户使用,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单
场景一:全量备份迁移 全量备份迁移场景为一次性数据库迁移,需要停止业务,将导出的Microsoft SQL Server全量备份文件上传至对象存储服务,然后恢复到目标数据库。 本小节将详细介绍通全量备份迁移的步骤。 迁移示意图 图1 全量迁移 迁移流程 图2 迁移流程 操作步骤 导出数据库全量备份文件
源库服务器计算机名是否一致 源数据库和目标数据库存在相同的计算机名,不符合迁移要求。 不通过原因 源数据库和目标数据库存在相同的计算机名。 处理建议 建议修改源数据库的计算机名,然后重启计算机生效。 父主题: 数据库参数检查
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成逻辑文件后