检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
克隆同步任务 DRS支持通过克隆功能,快速复制现有同步任务的配置。但是对于以下状态的任务,暂不支持进行克隆。 创建中 创建失败 配置 等待启动 启动中 删除 目前以下同步链路支持克隆功能: 入云 MySQL->MySQL MySQL->MariaDB MariaDB->MariaDB
修改流速模式 流速模式支持限速和不限速,默认为不限速。DRS提供创建任务后修改流速模式功能,目前DRS支持限速功能的同步链路可参考支持限速的链路。 约束限制 限速模式指的是限制秒级的流量上限,可能因为网络波动原因导致统计值的降低,实际统计的值可能会低于限速值大小。 限速模式只对全量同步阶段生效,增量同步阶段不生效。
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库
审计日志格式说明 创建DRS录制回放任务时,源数据库引擎可选不同来源。不同源数据库来源对应的审计日志格式不同,具体说明可参考如下说明。 表1 审计日志参数说明 参数 说明 quo 包裹符号,一般审计日志中的SQL是会被该符号包裹起来。 column 每行总列数。 separator
暂停同步任务 DRS提供对实时同步中的任务进行暂停功能。目前支持暂停的同步链路可参考支持暂停的链路。 前提条件 已登录数据复制服务控制台。 暂停任务 在“实时同步管理”页面的同步列表中,选择要暂停的任务,单击“操作 > 暂停”。 在弹出的“暂停任务”对话框中,选择“暂停日志抓取”后,单击“是”。
对象名修改(对象名映射) 实时同步功能可以支持源数据库和目标数据库中的同步对象(包括数据库、schema、表)的名称不同。对象名映射功能主要在如下场景使用: 对象名修改:如果同步的数据库对象在目标数据库中的命名和源数据库中不同,那么可以使用DRS提供的对象名映射功能进行修改。 多
重置同步任务 在实时同步过程中,对于以下同步状态的任务,可通过重置功能,重新开始同步而不用再次配置任务。 同步暂停状态。 同步失败状态。 目前DRS支持重置的同步链路可参考支持重置的链路。 DRS重置功能不会清空目标库,客户需要根据自己的需求选择是否清空目标库。 全量、全量+增量
MySQL->GaussDB MySQL->GaussDB B、MYSQL和PG兼容性模式 表1 数据类型映射关系 数据类型(MySQL) 数据类型(GaussDB) 是否支持映射 CHAR CHARACTER 支持,如果源库该类型的字段含有占用超过一个字节的字符,需适当增加目标库该字段的长度。
同步任务约束与限制 为保障数据同步任务的正常运行,针对不同的链路,DRS在使用上存在一定的约束与限制。 MySQL为源使用须知 入云: MySQL同步到MySQL MySQL同步到TaurusDB MySQL同步到PostgreSQL MySQL同步到GaussDB集中式版 MySQL同步到GaussDB分布式版
MySQL或MariaDB不同版本之间的语法差异 对于源数据库和目标数据库的版本有差异的迁移和同步链路,由于不同版本之间的部分特性差异,可能会出现语法兼容性问题。 DRS接收到的源数据库Binlog日志中里保存的是原始的执行SQL语句,这些SQL语句将会直接在目标数据库中执行,如
Kafka消息格式 同步到Kafka集群中的数据以Avro、JSON和JSON-C格式存储。不同链路支持的数据格式可参考表1: 表1 支持的数据格式 数据流向 Avro JSON JSON-C MySQL->Kafka 支持 支持 支持 Oracle->Kafka 支持 支持 暂不支持
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。
同步后进行数据校验 当任务状态变为“增量同步”,说明全量同步已经完成,全量同步完成后,登录GaussDB查看数据迁移结果。 等待迁移任务状态变为“增量同步”。 单击任务名称,进入任务详情页。 在“同步进度”页签查看全量同步结果。 如图所示,本次实践将TEST_INFO库中DATA
MongoDB数据库迁移过程中,源数据库出现内存溢出(OOM)是什么原因 场景描述 在进行MongoDB数据库迁移的过程中,出现源数据库内存溢出(OOM),导致源数据库不可用,迁移失败。 问题分析 出现上述内存溢出可能存在如下原因: 源数据库的mongod服务单独部署在一台机器上
MySQL->PostgreSQL 表1 数据类型映射关系 数据类型(MySQL) 数据类型(PostgreSQL) 是否支持映射 BIGINT NUMERIC|BIGINT 支持 BINARY BYTEA 支持 BIT BIT 支持 BLOB BYTEA 支持 BOOLEAN BOOL
time_zone的一致性检查 源数据库和目标数据库的time_zone参数不一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的参数time_zone或system_time_zone不一致。 处理建议 修改源数据库或者目标数据库的time_zone(timezone
如何确保业务数据库的全部业务已经停止 业务切换时可通过如下方法确保业务数据库的全部业务已经停止: 在源数据库端执行如下语句,查看当前是否还存在有业务连接 。 show processlist; 图1 查看是否存在业务连接 可选:如果源数据库有业务连接,则通过结果中Host列的值来查找对应的业务进程并将其停止。
源数据库是否存在被禁用的聚集索引 源数据库中不允许存在被禁用的聚集索引,如果存在可能会导致迁移失败。 不通过原因 源数据库中存在被禁用的聚集索引。 处理建议 通过执行如下操作,启用表中已禁用的索引: ALTER INDEX [索引名称] ON [表名] REBUILD; 父主题:
引擎类型说明 DRS各引擎类型对应取值可参考引擎类型说明。 表1 引擎类型说明 引擎类型(engine_type) 说明 对应源数据库取值(db_type) 对应目标数据库取值(db_type) mysql MySQL到MySQL迁移、MySQL到MySQL同步场景使用。 mysql
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL