检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
强事务要求,不推荐使用此选项。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对
c3 TIMESTAMP(6)); 创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的,选择区域。 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。
集中投递到一个Topic,Topic名称“testTopic”。 同步到Kafka partition策略 按表名+库名的hash值投递到不同Partition。 投递到Kafka的数据格式 可选择JSON格式,可参考Kafka消息格式。 同步对象 同步对象选择db_test下的table3_表。
可能原因 目标Kafka为多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报上述错误。 解决方案 检查并修复Kafka分区状态。 然后在任务列表中,单击任务对应操作列的“重置”,重新提交任务。 父主题: Oracle为源实时同步
数据订阅与MySQL到Kafka同步的区别 对比项 MySQL到Kafka同步 数据订阅 支持的源数据库 华为云RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云MySQL数据库 华为云RDS for MySQL 支持网络 支持公网网络、VPC网络、VPN、专线网络。
Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选
强事务要求,不推荐使用此选项。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对
实际业务场景推荐选择主备RDS实例,此时建议将两个实例创建在不同的可用区,提升业务可靠性。 规格 通用型 4 vCPUs | 8GB - Kafka(目标库) Kafka实例名 kafka-drs 自定义,易理解可识别。 版本 2.3.0 - 可用区 可用区三 可选择1个或者3个及以上可用区。实际业务场
创建VPC和安全组 创建VPC和安全组,为创建RDS for MySQL和Kafka实例准备好网络资源和安全组。 创建VPC 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”。 进入虚拟私有云信息页面。
强事务要求,不推荐使用此选项。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对
源端RDS for MySQL准备 创建RDS for MySQL实例 构造数据 父主题: RDS for MySQL同步到Kafka
Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选
'00:00:44','ddd'); 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。 在“Kafka专享版”页面,单击Kafka实例的名称。 选择“消息查询”页签,在Kafka对应的Topic中,查看接收到相应的JSON格式数据。 结束同步任务。 根据业务
目标Kafka为多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报上述错误。 解决方案 检查并修复Kafka分区状态。 然后在任务列表中,单击任务对应操作列的“重置”,重新提交任务。 父主题: Oracle为源实时同步
构造数据 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例。 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。 选择实例规格。
结构更新 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。 数据订阅与MySQL到Kafka同步的区别可参考这里。 更多到Kafka的同步链路可参考实时同步方案概览。 使用须知 数据订阅功能通过创建订阅任务来获取数据库中
API接口仅支持MySQL->MySQL迁移和同步,MongoDB->DDS迁移,MySQL->Kafka同步,GaussDB(for MySQL)->Kafka同步,GaussDB->GaussDB同步,GaussDB->Kafka同步,PostgreSQL->PostgreSQL同步,MySQL->M
迁移服务器磁盘可用空间是否足够 表1 迁移服务器磁盘可用空间是否足够 预检查项 迁移服务器磁盘可用空间是否足够。 描述 查看迁移服务器的可用空间是否足够,若空间不足,会导致迁移失败。 不通过提示及处理建议 不通过原因:源数据库选择数据量大于迁移实例剩余空间大小。 处理建议:请重新修改同步对象。
K代码示例调试功能。 接口约束 目前仅支持Oracle->GaussDB分布式、GaussDB(for MySQL)->Kafka、 MySQL->Kafka同步场景。 仅支持部分Region使用,详情参考终端节点。 URI GET /v5/{project_id}/jobs/{