检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步方案概览 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 常用场景:实时分析,报表系统,数仓环境。 同步特
登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“数据库 > 数据复制服务 DRS”。 单击“创建迁移任务”。 填写迁移任务参数: 配置迁移任务名称。 填写迁移数据并选择模板库。 这里的目标库选择创建DDM实例所创建的DDM实例。 单击“开始创建”。
在“备份迁移管理”页面,选择指定的备份迁移任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“编辑标签”,在“编辑标签”弹出框中,单击“添加新标签”,输入标签的键和值,,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。
在“实时灾备管理”页面,选择指定的灾备任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“编辑标签”,在“编辑标签”弹出框中,单击“添加新标签”,输入标签的键和值,,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。
同步Topic策略选择自动生成Topic名字时可见。 用来设置topic的分区个数。每个topic都可以创建多个partition,越多的partition可以提供更高的吞吐量,越多的partition会消耗更多的资源,建议根据broker节点的实际情况来设置partition的数量。 副本个数 同步
实时同步管理 批量数据加工 批量设置同步策略 高级设置 父主题: API v3(不再推广)
artition,越多的partition可以提供更高的吞吐量,越多的partition会消耗更多的资源,建议根据broker节点的实际情况来设置partition的数量。 副本个数 同步Topic策略选择自动生成Topic名字时可见。 用来设置topic的副本数。每个topic
DRS预检查阶段会在源及目标数据库进行一系列查询判断是否符合数据迁移或者同步的前提条件,以便提升任务成功率。当后端检查用时超过页面超时设置时,会显示预检查结果上报超时。 可能原因 源或目标数据库资源不足,执行查询过慢导致超时。 数据库中对象过多,执行用时长导致超时。 选择的对象过多导致查询超时。部分预检查项会按对象
个时间差,称为时延,单位为秒。 时延阈值设置是指时延超过一定的值后(时延阈值范围为0到3600s),DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。 说明: 当时延阈值设置为0时,不会发送通知给收件人。 首次进
在“实时迁移管理”页面,选择指定的实时迁移任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“编辑标签”,在“编辑标签”弹出框中,单击“添加新标签”,输入标签的键和值,,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。
在“数据订阅管理”页面,选择指定的数据订阅任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“编辑标签”,在“编辑标签”弹出框中,单击“添加新标签”,输入标签的键和值,,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。
签”弹出框中,单击“添加新标签”,输入标签的键和值,,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种的字母、数字和空格,以及_.:=+-@字符,
在“实时同步管理”页面,选择指定的同步任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“编辑标签”,在“编辑标签”弹出框中,单击“添加新标签”,输入标签的键和值,,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。
在“实时迁移管理”页面的迁移列表中,选择要暂停的迁移任务,单击“操作 > 暂停”。 在弹出的“暂停任务”对话框中,选择“暂停日志抓取”后,单击“是”。 增量状态暂停任务时,仅暂停增量数据的回放、或者拉取加回放,在进行数据库割接前,请先结束任务。 勾选“暂停日志抓取”后,该功能会停止一切DRS和源库、目标库的连接,请注
批量更新迁移用户信息 功能介绍 数据库的迁移过程中,迁移用户需要进行单独处理,该接口可以批量设置需要迁移的用户和角色。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 接口约束
DRS在选择仅同步数据时,会对用户源端和目标端的表结构一致性进行检查。 不通过原因 目标端表的字段未涵盖源端表的所有字段。 列名的大小写问题,源和目标端是不同数据库的情况下,源端表列名会转成小写和目标端比较。 列名中包含空格或者特殊字符等。 处理建议 返回设置同步页面,编辑满足条件的表重新建立
获取用户token:通过调用IAM服务的API,获取用户的Token。 创建同步实例:根据需要,创建同步任务。 查询任务创建进度:查询任务当前具体状态 测试连接:测试与源库和目标库的连接,以便继续进行任务。 更新任务信息:修改任务名称或描述,设置异常通知信息。 设置同步策略:设置同步策略,包括冲突策略、过滤DROP
对于MySQL 5.7、5.6版本:设置参数“tx_isolation”的值。 对于MySQL 8.0版本:设置参数“transaction_isolation”的值。 父主题: 数据库参数检查
SERVER_UUID的一致性检查 MySQL迁移时,源数据库和目标数据库的SERVER_UUID参数一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的参数SERVER_UUID相同。 处理建议 检查源数据库与目标数据库是否设置为同一个MySQL数据库,如果是,请重新修改源或者目标数据库。
户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能