检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 场景描述 本实践通过创建DRS同步任务,实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件
需要设置字段过滤阈值和替换字符,当字段的内容大小超过设定的阈值时,将按照指定的字符进行内容替换。 需要注意的是,大字段过滤功能是将字段的内容进行替换,并不是替换整个DML记录。如果一条DML记录中有很多大字段,这些字段只有部分字段的内容大小超过设置的过滤阈值,其他未超过过滤阈值的字段内容的累加值大于request
在弹出的“重置任务”窗口,选择重置方式。 不勾选解析重置:重置任务不重新解析流量文件,把任务之前解析流量文件得到的内容重新回放到目标库。 勾选解析重置:将清空任务所有解析流量文件得到的内容,重新开始解析流量文件,并将解析流量文件得到的内容重新回放到目标库。 等待预检查通过后,单击“开始重置”,重置任务。 父主题: 任务生命周期
源库日志清理:当源库日志(例如MySQL的binlog)被清理时,DRS无法从源库获取到和当前同步位点接续的日志,可能导致任务失败(例如全量或增量阶段失败报错,关键词“binlog is not existed”)。用户可参考重置同步任务内容进行重置,或重新创建任务开始同步。 数据库参数修改:DRS在
务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符(例如
同步规格变更 当DRS任务规格无法满足业务需要时,可参考以下内容升级DRS任务规格,变更开始后,任务状态为规格变更中,数据同步处于暂停阶段,变更完成后,会自动续传。 约束限制 账户余额大于等于0元,才可变更规格。 目前同步仅支持任务类型为单AZ的同步任务升级实例规格,不支持父子任务升级实例规格,不支持降低规格。
写到模板中,再进行导入,批量创建迁移任务。 约束限制 目前仅支持引擎为MySQL->MySQL的任务进行导入。 修改导入文件时模板时,示例内容需要清除,填写为正确的值。 在填写源和目标库实例时,可以只填必须参数,但需要用户自行保证源和目标库的子网是打通的。 导入模板是结合API和
钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象对比同时返回结果,如果对象不多的情况下,基本会在几分钟就会返回结果。
可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的DRS自定义策略样例。
s_progress)。 暂不支持同步序列值,如果同步的表中存在关联的序列,可以在任务结束后按照GaussDB分布式版为源任务序列值同步中内容,手动同步序列值。 库名、schema名和表名不可以包含/<.>\\'`|\?和!。列名不可以包含"'和.。 数据库用户权限要求 在使用D
概述 场景描述 本实践主要包含以下内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式数据库中间件DDM。 介绍如何通过VPN网络将不同Region的RDS for MySQL数据迁移到DDM。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。
如果需要自定义企业项目,请在控制台右上角单击“企业”,进入“企业项目管理”页面创建,具体请参见《企业管理用户指南》中“创建企业项目”的内容。 标签 可选配置,对同步任务的标识。使用标签可方便管理您的任务。每个任务最多支持20个标签配额。 如果您的组织已经设定DRS的相关标签策
建议妥善管理认证凭证,减少因凭证泄露导致的数据泄露风险 通过代码调用OpenAPI接口或者使用API Explorer使用接口时,需要通过账户密码或AK/SK信息获取token,需要遵循安全编码规范,妥善管理认证凭证,编写代码不要明文硬编码认证信息。
数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL 支持 支持 支持 入云 MySQL->GaussDB分布式版
大于等于92556默认使用并行解码,复制槽名命名规则为“drs_唯一性标识”。其中唯一性标识需要将任务node id中的“-”替换为“_”获取,node id可在DRS任务同步日志页面查看“task node id is ***”日志找到。 前提条件 由于普通用户没有执行execute
大于等于92556默认使用并行解码,复制槽名命名规则为“drs_唯一性标识”。其中唯一性标识需要将任务node id中的“-”替换为“_”获取,node id可在DRS任务同步日志页面查看“task node id is ***”日志找到。 前提条件 由于普通用户没有执行execute
适用于一个表一个Topic的场景,避免该表都写到同一个分区,消费者可以并行从各分区获取数据。 按库名.schema的hash值投递到不同Partition 适用于一个database一个topic的场景,避免多个schema下的数据都写到一个分区,消费者可以并行从各分区获取数据。 按表的非主键列值的hash值投递到不同的Partition
l类型可能会导致任务失败,不建议同步包含interval类型的表。 对于涉及表多对一的场景,必须保证多表合一的内容唯一键不冲突,建议在对比时设置过滤条件进行行对比和内容对比。 源数据库版本小于94563并且为B或者MySQL兼容模式时,如果开启了b_format参数(例如:set
操作API的权限。Token可通过调用获取用户Token接口获取。 云服务存在两种部署方式:项目级服务和全局级服务。 项目级服务需要获取项目级别的Token,此时请求body中auth.scope的取值为project。 全局级服务需要获取全局级别的Token,此时请求body中auth
户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》中“对等连接”章节内容。 VPN网络 适合通过VPN网络,实现其他云下自建数据库与云上数据库迁移、或云上跨区域的数据库之间的迁移。 用户需要确保本地数据中心和目