检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务可靠性。 规格 c6.2u4g.cluster - 代理个数 3 - 存储空间 高I/O,200GB 存储空间主要用于存储消息(包含副本,Kafka默认使用3副本),除了存储消息外还需要预留部分空间用于存储日志和元数据。 DRS同步任务 同步任务名 DRS-MySQLToKafka
统中临时表空间的上限。 解决方案 参考修改实例参数内容,修改目标库temp_file_limit参数,适当调大该参数的值,增加临时表空间上限。 等待数据库重启生效后,在DRS任务管理页面单击“续传”继续同步。同步任务结束后建议将该值调整回原始值,否则可能会因为临时表空间过大导致数据库实例磁盘满。
前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表 虚拟私有云 VPC 云数据库 RDS 分布式消息服务Kafka 数据复制服务 DRS 数据管理服务 DAS 部署架构 本示例中,DRS源数据库为华为云RDS for MySQL,目标端为华为云同Region下的
选择“自建库”。 VPC 源数据库实例所在的虚拟专用网络,可以对不同业务进行网络隔离。您需要创建或选择所需的虚拟私有云。如何创建虚拟私有云,请参见《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及默认子网”。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。子网在可
安装社区版MySQL 初始化磁盘并安装社区版MySQL。 登录弹性云服务器 登录华为云管理控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击页面左上角,选择“计算 > 弹性云服务器 ECS”。 在弹性云服务器名称“ecs-mysql”所在行单击“远程登录”。 选择“CloudShell登录”。
使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制 用于客户端连接的SASL机制,支持以下四项,Kafka server默认是 GSSAPI 机制,更多说明可参考SASL机制。 GSSAPI PLAIN
8 vCPUs | 64GB 本示例中为测试实例,选择较小的测试规格,实际选择规格以业务诉求为准。 存储空间 480G 本示例中为测试实例,选择较小的存储空间,实际选择存储空间大小以业务诉求为准。 加密磁盘 不加密 本示例中选择磁盘不加密,选择加密后会提高数据安全性,但对数据库读
源库binlog_format格式没有设置ROW。 源库binlog_format格式设置ROW后没有立即生效。 解决方案 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。
8 vCPUs | 64GB 本示例中为测试实例,选择较小的测试规格,实际选择规格以业务诉求为准。 存储空间 480G 本示例中为测试实例,选择较小的存储空间,实际选择存储空间大小以业务诉求为准。 加密磁盘 不加密 本示例中选择磁盘不加密,选择加密后会提高数据安全性,但对数据库读
源库binlog_format格式没有设置ROW。 源库binlog_format格式设置ROW后没有立即生效。 解决方案 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。
之前的连接使用的还是非ROW格式的binlog写入。 安全设置global级binlog_format=ROW的步骤 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。
详见分片集群MongoDB迁移前清除孤儿文档。 目标数据库检查 磁盘空间检查 目标数据库实例必须有足够的磁盘空间。 详见目标数据库磁盘可用空间是否足够。 集群到集群的全量迁移,如果源数据库的集群没有开启分片,则需要保证目标数据库主shard节点的磁盘空间大于源数据库数据大小。 状态检查 目标数据库实例实例状态必须正常。
预检查不通过项修复方法 磁盘空间检查 数据库参数检查 源库实例状态检查 目标库实例状态检查 数据库用户权限检查 数据库版本检查 网络情况 数据库对象检查 数据库配置项检查 冲突检查 SSL连接检查 对象依赖关系检查 源数据库信息检查 预检查超时
目标端Kafka准备 创建Kafka实例 创建Topic 父主题: RDS for MySQL同步到Kafka
目标端DDM准备 创建目标端VPC和安全组 创建DDM实例 创建RDS for MySQL实例 创建逻辑库并关联RDS for MySQL实例 创建DDM账号 创建目标库表结构 父主题: RDS for MySQL迁移到DDM
创建目标端VPN 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“网络 > 虚拟专用网络 VPN”。 在左侧导航栏选择“虚拟专用网络 > VPN网关”。 在“VPN网关”界面,单击“创建VPN网关”。 根据界面提示填写网关名称和信息。
目标端DDM准备 创建目标端VPC和安全组 创建DDM实例 创建RDS for MySQL实例 创建逻辑库并关联RDS for MySQL实例 创建DDM账号 创建目标库表结构 父主题: 本地Oracle同步到DDM
描述 数据流动方向 选择“出云”。 源数据库引擎 选择“GaussDB分布式版”。 目标数据库引擎 选择“GaussDB(DWS)”。 网络类型 此处以“公网网络”为示例。目前支持可选“公网网络”和“VPN、专线网络”。 公网网络:适合通过公网网络把其他云下或其他平台的数据库同步到
如果批量上传多个文件(单次最多支持100个文件同时上传,总大小不超过5GB),或单次上传文件大于5GB,需下载OBS Browser+客户端,安装并登录,相关操作请参见《对象存储服务客户端指南》。 说明: 本地备份文件上传到OBS桶时,暂不支持KMS加密方式。 本地备份文件上传到OBS桶时,请选择“标准存储”,否则会导致备份文件迁移失败。
增量数据存储压缩:增量数据转储成逻辑文件后,将会出现膨胀现象,DRS针对该场景做了存储压缩技术,使得本地逻辑文件缓存在DRS时占用磁盘空间大大降低。 父主题: 产品咨询