检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据订阅与MySQL到Kafka同步的区别 对比项 MySQL到Kafka同步 数据订阅 支持的源数据库 华为云RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云MySQL数据库 华为云RDS for MySQL 支持网络 支持公网网络、VPC网络、VPN、专线网络。
使用临时AK/SK时,必须使用SecurityToken,且建议有效期设置为24小时,否则回放过程中可能无法获取到OBS桶信息。 桶名 流量文件存储的OBS桶名。 终端节点 OBS为每个区域提供一个终端节点,终端节点可以理解为OBS在不同区域的区域域名,用于处理各自区域的访问请求。 流量文件前缀
DRS授权分类 “√”表示支持,“x”表示暂不支持。 表1 任务功能 权限 对应API接口 授权项(Action) IAM项目(Project) 企业项目(Enterprise Project) 批量创建任务 POST /v3/{project_id}/jobs/batch-creation
将GaussDB集中式版同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB集中式版(版本数据库内核版本为505.2及以下版本,内核版本与数据库发布版本对应关系。) Kafka 0.11及以上版本 支持的同步对象范围 在使用DRS进行同
批量查询任务状态 场景描述 本章节指导用户通过调用批量查询任务状态,查询租户下所有任务状态。 操作步骤 参考认证鉴权,通过调用IAM服务的API,获取用户的Token。 参考获取任务ID,获取需要查询的任务ID。 URI格式: /v3/{project_id}/jobs/batch-status
更新增量任务启动位点 功能介绍 更新增量任务的启动位点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 接口约束 目前仅支持MySQL->MySQL、MySQL->Gaus
确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。
自定义,易理解可识别。 数据库版本 MySQL 5.7 - 实例类型 单机 本示例中为单机。 实际使用时,为提升业务可靠性,推荐选择主备RDS实例。 存储类型 SSD云盘 - 可用区 可用区一 本示例中为可用区一。 实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。
不支持视图的创建语句中有正则表达式。 不支持_id字段没有索引的集合。 不支持BinData()的第一个参数为2。 不支持源库集合的String类型字段中存储非UTF-8类型字符串,否则会导致迁移前后数据不一致。 全量和增量阶段都不支持时序集合。 数据库账号权限要求 在使用DRS进行迁移时,连接
TABLE:表。 VIEW:视图。 EVENT:事件。 ROUTINE:存储过程和函数。 INDEX:索引。 TRIGGER:触发器。 SYNONYM:同义词。 FUNCTION:函数。 PROCEDURE:存储过程。 TYPE:自定义类型。 RULE:规则。 DEFAULT_TYPE:缺省值。
API概览 数据复制服务所提供的接口为REST(Representational State Transfer)风格API。通过使用DRS接口,您可以使用DRS的所有功能,包括创建迁移任务、获取任务详细信息、获取迁移任务列表、删除迁移任务等。 表1 v3接口说明 类型 子类型 说明
本小节以RDS for MySQL->RDS for MySQL的录制回放为示例,介绍如何使用数据复制服务创建两个数据库实例之间的录制回放任务,其他存储引擎的配置流程类似。 操作步骤 在“录制回放管理”页面,单击“创建录制回放任务”。 在“录制回放实例”页面,填选区域、项目、任务名称、描述、录制回放实例信息,单击“开始创建”。
100%兼容MySQL应用。 高并发性能满足苛刻性能要求。 支持大量连接,响应更快速。 高安全性 保证数据库安全 网络隔离、访问控制、传输加密、存储加密、防DDos攻击,全系列的数据库高安全等级,保证数据库安全。 华为云的108项关键安全能力,在国内首家通过NIST CSF网络安全框架的最高等级认证。
MySQL->GaussDB(PG兼容性模式)增量DDL使用的是B兼容性模式的DDL语法,可能会导致增量同步失败。 由于浮点型数据是采用近似值存储,而不是作为精确值存储,此外操作系统平台和底层实现也对浮点型数据有影响,因此FLOAT,DOUBLE类型的数据是不精确的,所以在MySQL和Gauss
实时灾备链路规格说明 注意事项 文中提供的性能指标仅用于提供参考的测试数据,实际环境会受源或目标数据库性能、网络带宽、数据模型、业务模型等因素影响。 规格说明 实时灾备根据链路的性能上限,定义了四种规格:极小、小、中、大,各个规格的同步性能上限如表1。 表1 规格性能上限 规格名称
产品咨询 区域和可用区 什么是数据复制服务 数据复制服务是否支持关系型数据库的HA实例迁移 数据复制服务对源数据库有什么要求 数据复制服务对目标数据库有什么要求 数据复制服务是否采用了并发技术 数据复制服务是否采用了压缩技术 DRS是否支持公有云和专属云间的数据库迁移 什么是配额
将Microsoft SQL Server同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建Microsoft SQL Server(企业版2012、2014、2016、2017、2019版本,标准版2016 SP2及以上版本、2017、2019版本)
网络时延。 数据库版本 MySQL 5.7 - 实例类型 单机 本示例中为单机。 实际使用时,为提升业务可靠性,推荐选择主备RDS实例。 存储类型 SSD云盘 - 可用区 可用区二 本示例中为单机。 实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。
表3 支持的同步对象 类型名称 使用须知 同步对象范围 支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步。 仅支持MyISAM和InnoDB表的同步。 视图、存储过程、函数依赖的表不支持做表名映射。 不支持事件(EVENT)和触发器(TRIGGER)的同步。
批量设置任务限速 功能介绍 批量设置任务限速,任务创建成功后默认不限速。 限速:自定义的最大迁移速度,迁移过程中的迁移速度将不会超过该速度。 不限速:对迁移速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如