检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。 选择存储空间和容量阈值策略。
描述不能超过256位,且不能包含!<>&'\"特殊字符。 SMN主题 需要先在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。 任务异常结束天数(天) 输入值必须在14到100之间,默认值14。 对于任务启动时间,当回放任务为“等待启动”状态时,才可以进行修改。
上角,选择“工单 > 新建工单”,完成工单提交。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 JSON-C:一种能够兼容多个批量,流式计算框架的数据格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象
MySQL) GaussDB(for MySQL) GaussDB(for MySQL)到GaussDB(for MySQL)(本云) ECS自建MySQL 本地自建MySQL 其他云上MySQL RDS for MySQL MySQL到MySQL(入云) GaussDB(for
选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据,需要反序列化后解释。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步和库级同步,您可以根据业务场景选择对应的数据进行同步。
灾备方案概览 为了解决地区故障导致的业务不可用,数据复制服务推出灾备场景,为用户业务连续性提供数据库的同步保障。您可以轻松地实现云下数据库到云上的灾备、跨云平台的数据库灾备,无需预先投入巨额基础设施。 数据灾备支持两地三中心、两地四中心灾备架构。单边灾备可以利用灾备场景的升主、降备功能从而实现异地主备倒换的效果。
数据订阅与MySQL到Kafka同步的区别 对比项 MySQL到Kafka同步 数据订阅 支持的源数据库 华为云RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云MySQL数据库 华为云RDS for MySQL 支持网络 支持公网网络、VPC网络、VPN、专线网络。 仅
自建开源Redis集群 4.0及以上版本 全量+增量数据迁移 备份迁移 备份迁移通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。其支持的数据库、版本和迁移类型如表8所示,更多备份迁移的功能特性可参考备份迁移。
String 主机名端点识别算法,对应Kafka字段:ssl.endpoint.identification.algorithm,指定通过服务端证书验证服务端主机名的端点识别算法,不填表示禁用主机名验证。 sasl_mechanism 否 String SASL机制,用于客户端连接的SASL机制,对应Kafka字段:sasl
8GB - DRS迁移任务 迁移任务名 DRS-mysql 自定义 源数据库引擎 MySQL 本示例中源数据库为自建MySQL,即在华为云弹性云服务器上安装社区版MySQL。 目标数据库引擎 MySQL 本示例中目标数据库也是MySQL,使用的云数据库 RDS for MySQL实例。
多种部署及容灾方案 数据备份、数据恢复、双机热备、异地容灾、同城容灾,多种部署及容灾方案,为数据可靠性保驾护航。 服务列表 虚拟私有云 VPC 弹性云服务器 ECS 云数据库RDS 数据复制服务 DRS 使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。 本实践端到端的
的不同进行确定。 X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language
的不同进行确定。 X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language
描述不能超过256位,且不能包含!<>&'\"特殊字符。 SMN主题 需要先在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。 时延阈值 时延阈值范围为0到3600s。 说明: 当时延阈值设置为0时,不会发送通知给收件人。 任务异常结束天数(天)
阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。 不过滤:不对大字段进行过滤。 图2 大字段过滤 设置完成后,单击“确认”。 对于失败状态的任务,设置完之后需要手动续传或重置使设置生效。
选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步、schema级同
参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token。用户Token也就是调用IAM获取用户Token接口的响应值,请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language
的不同进行确定。 X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language
描述不能超过256位,且不能包含!<>&'\"特殊字符。 SMN主题 需要先在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。 时延阈值 时延阈值范围为0到3600s。 说明: 当时延阈值设置为0时,不会发送通知给收件人。 任务异常结束天数(天)
的不同进行确定。 X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language