检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据订阅任务 支持的数据库 表1 支持数据库信息 数据库引擎 支持订阅的数据类型 RDS for MySQL 5.6、5.7版本 数据更新 结构更新 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。 数据订阅与
config_transformation 否 Object 配置信息,如果存在多张关联表,请生成多条配置规则。满足配置条件的数据将暂存到缓存中,在数据过滤的场景进行使用。 配置的库名和表名支持数字、字母和下划线。 配置的列名、主键、索引,请确保与源库配置表的字段名保持大小写一致。 详情请参见表7。
操作流程 构建MySQL服务器、购买GaussDB(for MySQL)实例,并且将MySQL服务器数据迁移到GaussDB(for MySQL)实例的整个流程的主要任务流如图1所示。 图1 流程图 父主题: ECS自建MySQL迁移到GaussDB(for MySQL)
什么是数据复制服务 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。 数据复制服务围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您减少数据传输的成本。 您可通过数据复制服务
企业项目选择“default”。 单击“开始创建”。 迁移实例创建中,大约需要5-10分钟。 配置源库信息和目标库数据库密码,单击“下一步”。 配置源库信息。 单击“测试连接”。 当界面显示“测试成功”时表示连接成功。 图3 源库信息 配置目标库数据库用户名和密码。 单击“测试连接”。 当界面显示“测试成功”时表示连接成功。
操作流程 构建MySQL服务器、购买RDS实例,并且将MySQL服务器数据迁移到RDS实例的整个流程的主要任务流如图1所示。 图1 流程图 父主题: 自建MySQL迁移到RDS for MySQL
目标库是否存在已配置数据库 预检查项 目标库是否存在已配置数据库 描述 MySQL->GaussDB同步场景,用户配置的目标库中的映射数据库必须已经存在,否则会导致同步失败。 不通过提示及处理建议 不通过原因:目标库不存在已配置的数据库。 处理建议:同步前,请手动在目标库创建已配置的映射数据库。
数据复制服务对目标数据库有什么要求 在创建任务时,用户填写的连接目标数据库的用户,需具备一定的权限。不同链路的具体权限可参考使用须知中权限要求。 实时迁移请参考实时迁移方案概览 备份迁移请参考备份迁移方案概览 实时同步请参考实时同步方案概览 数据订阅强参考数据订阅使用须知 实时灾备请参考实时灾备方案概览
String 该列在目标库的名称(列名映射),当该列为“附加列”时须与数据库表级对象中列名保持一致。 type String 该列字段的数据类型。 列过滤:填写源列字段的数据类型。 附加列:新填充的列指定字段的数据类型,根据不同操作类型来决定取值范围与约束。取值: 以默认值方式,支持:int
Owner尽量是同一个账号方便管理。 关键配置项 用户将数据库还原到RDS for SQL Server实例上之后,本地的一些重要配置项也需要进行同步确认,避免影响业务的正常使用。 tempdb:临时数据库的文件配置需要进行同步。 推荐配置为8个临时文件,注意路径一定要确保在D:\RDSDBDATA\Temp\
object_scope String 该数据库在实时同步场景下的类型。 target_root_db Object 数据库对象迁移或同步目标库信息,两层到三层数据库同步需要填写。 详情请参见表5。 object_info Map<String,DatabaseObject> 数据库对象迁移或同步信息。
本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。
配置说明 配置方式 通过修改GaussDB数据库后台pg_hba.conf文件进行配置。 pg_hba.conf配置约束 配置文件时,请依次从上到下配置,配置的优先级由高到低。 pg_hba.conf配置信息格式 每个白名单规则都要遵循格式:TYPE DATABASE USER ADDRESS
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库
对比方式:分为静态对比和动态对比两种。 静态对比:对源数据库和目标数据库进行一次全量内容对比,内容对比完成后对比任务结束,适用于无数据变化的非业务时间。 动态对比:先对源数据库和目标数据库进行一次全量内容对比,对比任务完成后进入增量对比阶段,实时比对源数据库和目标数据库的增量数据,适用于有数据变化的业务时间。 对
目标数据库是否存在和源数据库同名的数据库 MySQL迁移场景 表1 目标数据库是否存在和源数据库同名的数据库 预检查项 目标数据库是否存在和源数据库同名的数据库 描述 校验用户提供的目标数据库是否存在与源数据库相同的数据库。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行。
提交查询数据库对象信息 功能介绍 提交查询数据库对象信息。例如: 当type取值为source时,查询源库库表信息。 当源库库表信息有变化时,type取值为source,is_refresh取值为true。 当已同步到目标库的库表信息过大,需要提前将数据加载到缓存中时,type取值为synchronized。
选择目标实例所在的区域。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 左侧导航栏选择“实时迁移管理”,单击“创建迁移任务”。 配置迁移实例信息。 选择区域,项目,填写任务名称。 配置迁移任务的类型,选择目标实例和子网。 单击“开始创建”。 配置源库及目标库信息。 填写源库的IP、端口、用户、密码等信息。
DRS实例规格 DRS实例规格越大,迁移速度越快,耗时越少。 源数据的模型和分布 此类因素包括是否有主键、是否分区表、是否堆表、平均单行数据量大小、表的数量、索引数量等。 目标库是否已有数据 目标库已有数据可能导致迁移时数据冲突,导致性能下降。 目标库是否有触发器 目标库有触发器可能导致迁移时写入性能下降。
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成