检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表
上个页面修改实例信息。 如果规格确认无误,单击“提交”,完成购买实例的申请。 实例创建成功后,用户可以在“实例管理”页面对其进行查看和管理。 数据库端口默认为5066,实例创建成功后可修改。当实例运行状态为“运行中”时,表示实例创建完成 父主题: 目标端DDM准备
DRS同步阶段1:全量同步 选择创建DRS任务章节创建的DRS全量+增量任务,配置源库及目标库信息。 填写源库的IP、端口、用户、密码等信息。 填写完成后,需要单击“测试连接”,测试连接信息是否正确。 填写目标库的账户和密码。 填写完成后,需要单击“测试连接”,测试连接信息是否正确。
进度,也查看具体迁移对象的迁移进度。当全量迁移进度显示为100%,表示全量迁移已经完成。 查看迁移明细:迁移明细中,您可以查看具体迁移对象的迁移进度,当“对象数目”和“已迁移对象”相等时,表示该对象已经迁移完成,可通过“查看详情”查看每个对象的迁移进度。仅白名单用户该支持功能,您可以通过提交工单的方式进行申请使用。
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制
如何处理迁移实例和数据库网络连接异常 数据迁移前请确保完成网络准备和安全规则设置。如果连接异常,请按照本节方法排查网络配置是否正确。 本节将以MySQL到RDS for MySQL的迁移为示例,从三种迁移场景(跨云数据库实时迁移、本地数据库实时迁移、ECS自建数据库实时迁移)进行说明。
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。
索引的迁移相对较慢。 迁移明细中,您可以查看具体迁移对象的迁移进度,当“对象数目”和“已迁移数目”相等时,表示该对象已经迁移完成,可通过“查看详情”查看每个对象的迁移进度。增量迁移中,“进度明细”将不再显示,您可以使用“迁移对比”页签查看一致性情况。 除Redis、GeminiDB
在网络无瓶颈的情况下,灾备初始化阶段会对业务数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 灾备无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在灾备的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
MySQL迁移中Definer强制转化后如何维持原业务用户权限体系 Definer的使用主要应用在视图、存储过程、触发器、事件等对象里,Definer并不会限制对象被调用的权限,但会限制对象访问数据库的权限。本场景下,用户在MySQL迁移过程中选择了“所有Definer迁移到该用
对于需要降权处理的用户和不支持迁移的用户,在备注列的查看详情中会提示具体的原因,您需要单击对应用户备注列的“查看”,确认详情后才可进行下一步操作。如果存在多个需要查看备注详情的用户,您也可以单击“确认所有备注”按钮,一键查看备注信息。 图5 查看备注信息 数据库用户已存在是不支持迁移到目标
如何设置MongoDB数据库分片集群的分片键 MongoDB数据库中数据的分片是以集合为基本单位的,集合中的数据通过片键被分成多部分。 对集合进行分片时,您需要选择一个片键 , 片键是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB数据库按照片键将数据划分到
费用。 迁移任务提交后,您可在“实时迁移管理”页面,查看并管理自己的任务。 您可查看任务提交后的状态,状态请参见任务状态说明。 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。 全量迁移结束后,可通过数据对比功能查看迁移前后数据是否一致。 对于未启动、状态为配置中的任务
巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据,涉及每个字段都会对比,所以会对数据库产生一定的查询压力,主要体现在IO上,查询速度受限于源库和目标库的IO和网络带宽。占用1-2个CPU,占用10个左右的session的连接数。
ip:port,ip:port- DDS:ip:port,ip:port - Redis集群:ip:port,ip:port db_port String 数据库端口。 约束:输入范围为1-65535之间的整数。 db_user String 数据库用户名。 db_password String
查找对应的业务进程并将其停止。 在源库执行如下语句,查看binlog位置并记录该值(file列取值:position列取值 ),此处将该值记为ckpt1。 show master status; 图2 查看binlog位置 等待30s以上,在源库执行如下语句,查看binlog位置
私有IP作为源地址可以访问云数据库监听端口。 网络ACL:VPC默认没有网络ACL,如果您设置过网络ACL,需要增加入方向规则,允许放通DRS私有IP作为源地址、随机端口作为源端口范围,RDS源数据库的IP作为目的地址、监听端口作为目的端口范围。 配置DRS迁移实例所在安全组和DRS所在子网的网络ACL。
数据库密码 数据库IP 数据库端口 数据库用户名 约束限制 所有链路均支持修改连接密码。 目前仅MySQL和GaussDB(for MySQL)为源且连接方式为输入IP地址的单主灾备任务,在灾备阶段支持修改IP、端口、用户名信息。当业务库进行某些操作导致IP地址、端口、用户名变化时,可通过此功能更新为正确的信息。
h为“/v3/auth/tokens”。 query-string 查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京一”区域的To
次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约20MB/s的查询压力,以及占用2~4个CPU。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。