检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建DRS同步任务 本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。
CII字符。 灾备数据库配置 灾备数据库实例的运行状态必须正常,若数据库实例是主备实例,复制状态也必须正常。 灾备数据库实例必须有足够的磁盘空间。 灾备数据库大版本号必须与业务库保持一致。 灾备库必须是空实例,且灾备任务开始后灾备库会被设置成只读。 灾备数据库的binlog日志必
务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包
以上白名单是为了进行迁移针对性设置的,迁移结束后可以删除。 目标数据库安全组规则设置: 目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直接写入数据到目标数据库,不需要进行任何设置。 其他事项准备。 DRS支持部分与业务和性能强相关的参数迁移,具体参数列表请
的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。 当源数据库和目标数据库处于同一个VPC内的时候,默认网络是连通的,不需要单独设置安全组。 当源数据库和目标数据库不在同一个VPC内的时候,要求源数据库和目标数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。
源数据库字符集是否支持 Oracle为源同步时,DRS会对源数据库字符集进行检查。源数据库的字符集不支持时,可能会导致数据同步失败。 不通过原因 源数据库的字符集不支持。源库为Oracle的同步目前支持字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8
出云 将MySQL同步到MySQL 将MySQL同步到Kafka 将MySQL同步到CSS/ES 将MySQL同步到Oracle 将MySQL同步到MariaDB 将DDM同步到MySQL 将DDM同步到Oracle 将DDM同步到Kafka 将DDS同步到MongoDB 将DDS同步到Kafka
实施步骤 自建MySQL服务器 上云操作 父主题: ECS自建MySQL迁移到GaussDB(for MySQL)
一次性全量迁移,后续将不再进行增量恢复,选择“是”。 增量恢复流程中,最后割接阶段的最后一个增量备份选择“是”。 当前进行的是第一次增量备份迁移,该参数选择“否”。此时目标数据库将会处于恢复中的状态,不可读写。 执行预校验 备份迁移任务是否执行预校验,默认为是。 是:为保证迁移成功,提前识别潜在
库之间的灾备。 用户需要通过专线网络建立云与数据中心的专线连接。 云专线相关操作,请参见《云专线快速入门》。 公网网络 适合其他云下或其他平台的数据库到目标数据库的灾备。 为了确保源数据库和目标数据库之间的网络互通,源数据库端和目标数据库端分别需要进行如下设置: 开启公网访问 源
数据订阅 支持的数据源类型 数据订阅支持的数据源类型包括: RDS for MySQL实例 支持的订阅对象 数据订阅的订阅对象可以为:表级订阅。 数据订阅将增量数据细分为数据变更(Data Manipulation Language 简称DML)和结构变更(Data Definition
数据订阅 修改数据库后,到SDK的用户端消费一般有多长时间的延迟 订阅SDK获取不到数据,且程序异常
构造数据 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。
账号(可完整迁移的用户和需要降权的用户),系统也将默认支持对应用户权限的迁移。 迁移成功后,存储在目标数据库中的对应用户(需要降权的用户)是经过降权处理的用户。 图2 账号权限 DRS支持数据库用户密码的迁移。 数据库用户密码的迁移可通过如下两种方式来处理。 由于DRS在迁移时不
数据对比 对比任务报错,关键词“失败报错:service SDV failed! cause by: the size of records in one shard[ *** ] of target database, exceeds the max size 200000” 父主题:
数据加工 更新指定任务数据加工规则 获取指定任务数据加工规则更新结果 查询数据加工规则 数据过滤规则校验 获取数据过滤校验结果 采集指定数据库表的列信息 获取指定数据库表列信息 父主题: API v5(公测中)
迁移方案概览 由于安全原因,数据库的IP地址有时不能暴露在公网上,但是选择专线网络进行数据库迁移,成本又高。这种情况下,您可以选用数据复制服务提供的备份迁移,通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。
Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步、导入对象文件,您可以根据业务场景选择对应的数据进行同步。 选择导入对象文件时,支持不同表同
binlog_row_image参数设置为FULL没有立即生效 使用DRS进行MySQL迁移时,必须确保源库的binlog_row_image参数设置为FULL,否则就会导致任务失败。在源库设置了binlog_row_image=FULL之后,只对新的session生效,为了关闭
上传备份文件 本小节介绍了上传备份文件的方法。 创建OBS桶,并将备份文件上传OBS桶。 如果单次上传文件不大于5GB时,可以登录OBS控制台创建OBS自建桶,存储类别选择“标准存储”,桶策略选择“公共读”。 如果批量上传多个文件(单次最多支持100个文件同时上传,总大小不超过5