检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表
上个页面修改实例信息。 如果规格确认无误,单击“提交”,完成购买实例的申请。 实例创建成功后,用户可以在“实例管理”页面对其进行查看和管理。 数据库端口默认为5066,实例创建成功后可修改。当实例运行状态为“运行中”时,表示实例创建完成 父主题: 目标端DDM准备
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制
DRS同步阶段1:全量同步 选择创建DRS任务章节创建的DRS全量+增量任务,配置源库及目标库信息。 填写源库的IP、端口、用户、密码等信息。 填写完成后,需要单击“测试连接”,测试连接信息是否正确。 填写目标库的账户和密码。 填写完成后,需要单击“测试连接”,测试连接信息是否正确。
如何处理迁移实例和数据库网络连接异常 数据迁移前请确保完成网络准备和安全规则设置。如果连接异常,请按照本节方法排查网络配置是否正确。 本节将以MySQL到RDS for MySQL的迁移为示例,从三种迁移场景(跨云数据库实时迁移、本地数据库实时迁移、ECS自建数据库实时迁移)进行说明。
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。
索引的迁移相对较慢。 迁移明细中,您可以查看具体迁移对象的迁移进度,当“对象数目”和“已迁移数目”相等时,表示该对象已经迁移完成,可通过“查看详情”查看每个对象的迁移进度。增量迁移中,“进度明细”将不再显示,您可以使用“迁移对比”页签查看一致性情况。 除Redis、GeminiDB
ip:port,ip:port- DDS:ip:port,ip:port - Redis集群:ip:port,ip:port db_port String 数据库端口。 约束:输入范围为1-65535之间的整数。 db_user String 数据库用户名。 db_password String
私有IP作为源地址可以访问云数据库监听端口。 网络ACL:VPC默认没有网络ACL,如果您设置过网络ACL,需要增加入方向规则,允许放通DRS私有IP作为源地址、随机端口作为源端口范围,RDS源数据库的IP作为目的地址、监听端口作为目的端口范围。 配置DRS迁移实例所在安全组和DRS所在子网的网络ACL。
h为“/v3/auth/tokens”。 query-string 查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京一”区域的To
查找对应的业务进程并将其停止。 在源库执行如下语句,查看binlog位置并记录该值(file列取值:position列取值 ),此处将该值记为ckpt1。 show master status; 图2 查看binlog位置 等待30s以上,在源库执行如下语句,查看binlog位置
数据库密码 数据库IP 数据库端口 数据库用户名 约束限制 所有链路均支持修改连接密码。 目前仅MySQL和GaussDB(for MySQL)为源且连接方式为输入IP地址的任务,在增量阶段支持修改IP、端口、用户名信息。当源库进行某些操作导致IP地址、端口、用户名变化时,可通过此功能更新为正确的信息。
数据库密码 数据库IP 数据库端口 数据库用户名 约束限制 所有链路均支持修改连接密码。 目前仅MySQL和GaussDB(for MySQL)为源且连接方式为输入IP地址的单主灾备任务,在灾备阶段支持修改IP、端口、用户名信息。当业务库进行某些操作导致IP地址、端口、用户名变化时,可通过此功能更新为正确的信息。
私有IP作为源地址可以访问云数据库监听端口。 网络ACL:VPC默认没有网络ACL,如果您设置过网络ACL,需要增加入方向规则,允许放通DRS私有IP作为源地址、随机端口作为源端口范围,RDS源数据库的IP作为目的地址、监听端口作为目的端口范围。 源数据库添加白名单 源数据库需要
对于如下的迁移信息,您可以进行修改。 数据库密码 数据库IP 数据库端口 数据库用户名 自建DNS服务配置 约束限制 所有链路均支持修改连接密码。 目前仅MySQL为源且连接方式为输入IP地址的任务,在增量阶段支持修改IP、端口、用户名信息。当源库进行某些操作导致IP地址、端口、用户名变化时,可通过此功能更新为正确的信息。
PostgreSQL为源强制结束任务 本小节介绍PostgreSQL为源的同步链路在强制结束任务后,如何清理源库逻辑复制槽、如何同步序列值以及如何在源数据库已经无法连接的情况下,重置目标库中自增或自减列关联序列的序列值。 复制槽名命名规则为“drs_唯一性标识”。其中唯一性标识需要将任务node
返回安全组列表,单击安全组名称“sg-mysql”。 选择“入方向规则”,单击“添加规则”。 配置入方向规则,放通数据库3306端口。 重复9-10放通22端口。 放通后的效果如下: 父主题: 自建MySQL服务器
查询回放进度 回放进度展示了回放过程中SQL执行情况,可以帮助您了解任务完成的情况。 前提条件 已登录数据复制服务控制台。 已启动录制回放任务。 查询回放进度 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 单击“回放进度”页签,查看任务进度。 回
选择“对象级对比”页签,查看对象是否缺失。 单击“开始对比”,对比完成后,查看对比结果。 选择“数据级对比”页签,查看同步对象行数是否一致。 单击“创建对比任务”。 在弹出的对话框中选择对比类型、时间和对象。 等待对比任务结束后,查看数据对比结果。 如需查看对比明细,可单击对比任务后的“查看对比报表”。
进度,也查看具体迁移对象的迁移进度。当全量迁移进度显示为100%,表示全量迁移已经完成。 查看迁移明细:迁移明细中,您可以查看具体迁移对象的迁移进度,当“对象数目”和“已迁移对象”相等时,表示该对象已经迁移完成,可通过“查看详情”查看每个对象的迁移进度。仅白名单用户该支持功能,您可以通过提交工单的方式进行申请使用。