检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表
络打通。 账号连通性:确保源库和目标库允许DRS通过用户名和密码访问。 图5 源库信息 表9 源库信息 参数 描述 IP地址或域名 源数据库TiDB的IP地址或域名。 端口 源数据库TiDB服务端口,可输入范围为1~65535间的整数,默认为4000。 数据库用户名 源数据库TiDB的用户名。
参数值为0时,表示数据库大小写敏感;当lower_case_table_names 参数值为1时,表示数据库大小写不敏感,所有大写字母将转换为小写存储。当源库和目标数据库的lower_case_table_names参数不一致时,若存在以大写字母形式创建的库或者表,可能会导致任务失败。
当用户需要填写自建的内网域名数据库地址作为源或者目标库时,请开启此选项。 自建DNS服务IP 填写用户自建的DNS服务IP信息。 配置自建DNS服务IP后,用户可在源库或目标库的“IP地址或域名”处填写您自建的内网域名数据库地址进行数据迁移。 当用户需要填写自建的内网域名数据库地址作为源或者目标库时,此功能能够实现。
创建备份迁移任务 当用户的数据库的IP地址不能暴露在公网上,但是选择专线网络进行数据库迁移,又担心成本过高的时,可以选择DRS提供的备份迁移功能将SQL Server备份文件恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。 操作视频 操作流程 操作步骤
当DRS任务与源库或目标库进行测试连接失败时,DRS提供一键诊断功能,可对源库或者目标库当前网络连接情况进行诊断并返回结果。 仅支持通过输入IP地址或者界面选择方式,获取数据库信息的任务节点进行网络诊断,暂不支持GaussDB的DN诊断。 集群或多AZ任务场景,只支持在主任务的节点进行诊断。
当DRS任务与源库或目标库进行测试连接失败时,DRS提供一键诊断功能,可对源库或者目标库当前网络连接情况进行诊断并返回结果。 仅支持通过输入IP地址或者界面选择方式,获取数据库信息的任务节点进行网络诊断,暂不支持GaussDB的DN诊断。 集群或多AZ任务场景,只支持在主任务的节点进行诊断。
当DRS任务与源库或目标库进行测试连接失败时,DRS提供一键诊断功能,可对源库或者目标库当前网络连接情况进行诊断并返回结果。 仅支持通过输入IP地址或者界面选择方式,获取数据库信息的任务节点进行网络诊断,暂不支持GaussDB的DN诊断。 集群或多AZ任务场景,只支持在主任务的节点进行诊断。
图6 目标库信息 表10 目标库信息 参数 描述 IP地址或域名 目标数据库的IP地址或域名,格式为IP地址/域名:端口。其中目标数据库服务端口,可输入范围为1~65535间的整数。 该输入框最多支持填写10组目标数据库的IP地址或者域名信息,多个值需要使用英文逗号隔开。例如:192
图6 目标库信息 表10 目标库信息 参数 描述 IP地址或域名 目标数据库的IP地址或域名,格式为IP地址/域名:端口。其中目标数据库服务端口,可输入范围为1~65535间的整数。 该输入框最多支持填写10组目标数据库的IP地址或者域名信息,多个值需要使用英文逗号隔开。例如:192
图7 目标库信息 表10 目标库信息 参数 描述 IP地址或域名 目标数据库的IP地址或域名,格式为IP地址/域名:端口。其中目标数据库服务端口,可输入范围为1~65535间的整数。 该输入框最多支持填写10组目标数据库的IP地址或者域名信息,多个值需要使用英文逗号隔开。例如:192
如果不启用SSL安全连接,请自行承担数据安全风险。 源数据库IP地址、端口、用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。 图6 目标库信息 表8 目标库信息 参数 描述 IP地址或域名 目标数据库的IP地址或域名。 安全协议 支持四种认证方式的选择,PL
当用户需要填写自建的内网域名数据库地址作为源或者目标库时,请开启此选项。 自建DNS服务IP 填写用户自建的DNS服务IP信息。 配置自建DNS服务IP后,用户可在源库或目标库的“IP地址或域名”处填写您自建的内网域名数据库地址进行数据迁移。 当用户需要填写自建的内网域名数据库地址作为源或者目标库时,此功能能够实现。
源库信息 表9 源库信息 参数 描述 CN IP地址或域名 输入GaussDB的IP,请确保所填写的多个IP地址或域名属于同一个实例。 数据库用户名 源数据库的用户名。 数据库密码 源数据库的用户名所对应的密码。 DN IP地址或域名 DN IP信息可以登录CN节点通过SQL查询。
图6 目标库信息 表10 目标库信息 参数 描述 IP地址或域名 目标数据库的IP地址或域名,格式为IP地址/域名:端口。其中目标数据库服务端口,可输入范围为1~65535间的整数。 该输入框最多支持填写10组目标数据库的IP地址或者域名信息,多个值需要使用英文逗号隔开。例如:192
操作步骤 下载用于清除孤儿文档的cleanupOrphaned.js脚本文件。 修改cleanupOrphaned.js脚本文件,将test替换为待清理孤儿文档的数据库名。 执行以下命令,清理Shard节点下指定的数据库中所有集合的孤儿文档。 mongo --host ShardIP
源库信息 表9 源库信息 参数 描述 容灾同步 开启后表示源数据库是容灾集群部署形态,IP地址或域名必须填入容灾集群所有节点的信息。 IP地址或域名 输入GaussDB的IP,请确保所填写的多个IP地址或域名属于同一个实例,且请填写所有主备实例的IP。 数据库用户名 源数据库的用户名。 数据库密码
场景介绍 由于安全原因,数据库的IP地址有时不能暴露在公网上,但是选择专线网络进行数据库迁移,成本又高。这种情况下,您可以选用数据复制服务提供的备份迁移,通过将本地Microsoft SQL Server数据库的备份文件上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您
源库信息 表9 源库信息 参数 描述 CN IP地址或域名 输入GaussDB的IP,请确保所填写的多个IP地址或域名属于同一个实例。 数据库用户名 源数据库的用户名。 数据库密码 源数据库的用户名所对应的密码。 DN IP地址或域名 DN IP信息可以登录CN节点通过SQL查询。
图6 目标库信息 表10 目标库信息 参数 描述 IP地址或域名 目标数据库的IP地址或域名,格式为IP地址/域名:端口。其中目标数据库服务端口,可输入范围为1~65535间的整数。 该输入框最多支持填写10组目标数据库的IP地址或者域名信息,多个值需要使用英文逗号隔开。例如:192