检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据,请使用Kafka数据中的id字段进行去重。 结束任务须知 正常结束任务: 全量+增量实时同步任务正常结束时,将自动删除任务在源库创建的流复制槽。 强制结束任务: 强制结束全量+增量实时同步任务,需要手动删除源库可能残留的复制槽,可参考PostgreSQL为源强制结束任务章节的指导进行操作。
场景二:多对一实时同步 实时同步不同于数据迁移,是维持不同业务之间的数据持续性流动,除了可以实现实例级多对一同步(如图3,财务系统、订单系统到报表系统的数据同步)外,还可以通过对象名映射功能,实现库级或者表级数据多对一同步(如图3,财务系统、订单系统中表B的数据到报表系统表B的数据同步)。
文本搜索模板的同步。 表级同步时,仅支持表、视图、物化视图、序列、普通索引的同步。 文件导入时,支持表的同步。 不支持系统模式、系统表、系统用户、系统函数等系统对象;不支持表空间、外部数据包装器、外部服务器、用户映射、发布、订阅、用户等其他对象;不支持对象权限的同步。 说明: 支持同步的对象有如下限制:
操作流程 创建VPC和安全组 源端RDS for MySQL准备 目标端Kafka准备 创建DRS同步任务 确认同步任务执行结果 父主题: 实时同步
0-100% 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 mem_util 内存使用率 该指标用于统计测量对象的内存使用率,以比率为单位。 0-100% 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 network_incoming_bytes_rate
已成功创建迁移任务,并且迁移失败。 方法一 在“实时迁移管理”页面的任务列表中,选择要启动的任务,单击操作列“重置”按钮。 在弹出的“重置任务”窗口,将重新进行迁移任务预检查。 预检查完成后,且预检查通过率为100%时,单击“开始重置”按钮,重新提交迁移任务。 方法二 在“实时迁移管理”页面,选择需要启动的任务,单击任务名称。
查看或下载日志 操作场景 如果DRS任务已经配置了访问日志,操作详情请参见日志配置管理,就可以在LTS服务分析日志、搜索日志、日志可视化、下载日志和查看实时日志。 查看LTS日志 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在“所有服务”或“服务列表”中选择“管理与监管 > 云
全量阶段,是否与表结构同时建立索引 是,实时迁移过程中,全量同步迁移表结构的时候,会同时迁移索引。 否,索引会在迁移数据阶段后进行单独迁移。 过滤DROP DATABASE 实时迁移过程中,为了降低迁移数据的风险,数据复制服务提供了过滤删除数据库操作的功能。 是,表示实时迁移过程中不会迁移用户在源数据库端执行的删除数据库的操作。
已创建同步任务。 方法一 在“基本信息”页签的“限速信息”区域,单击“修改”。 在弹出的对话框中修改流速模式。 图1 修改流速模式 方法二 在“实时同步管理”页面的同步列表中,选择需要修改流速模式的任务,单击操作列的“更多>限速”,或“限速”。 图2 任务列表 在弹出的对话框中修改流速模式。
修改IP功能适用于源库IP地址变化场景,修改前后的IP必须属于同一个数据实例,否则可能导致任务失败或者数据不一致。 连接信息修改后,将实时生效,不会清空目标数据库的数据。 操作步骤 在“实时同步管理”界面,选中指定同步任务,单击任务名称。 进入“基本信息”页签,在“连接信息”模块下,单击“修改连接信息”。
跳过DDL 对于目标数据库为GaussDB(DWS)的实时同步链路,增量阶段在源数据库执行的DDL操作时,DRS将原样在GaussDB(DWS)里执行。当目标数据库GaussDB(DWS)不支持该DDL语句时,会导致同步任务暂时故障。 针对这种情况,用户根据同步日志信息解决问题后,可以通过跳过DDL功能继续同步。
查看或下载日志 操作场景 如果DRS任务已经配置了访问日志,操作详情请参见日志配置管理,就可以在LTS服务分析日志、搜索日志、日志可视化、下载日志和查看实时日志。 查看LTS日志 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在“所有服务”或“服务列表”中选择“管理与监管 > 云
0-100% 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 mem_util 内存使用率 该指标用于统计测量对象的内存使用率,以比率为单位。 0-100% 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 network_incoming_bytes_rate
试。 约束限制 目前仅支持MySQL、PostgreSQL、MongoDB、Oracle数据库提前进行连接信息创建。 目前仅支持实时迁移、实时同步、实时灾备任务在测试连接步骤进行连接信息选择。 数据流动方向为入云(本云为备)时支持源数据库进行连接信息选择,数据流动方向为出云(本云
实例正常运行,即: 实时迁移:状态为全量迁移、增量迁移。 实时同步:状态为全量同步、增量同步。 实时灾备:状态为灾备中。 查看实例监控 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 选择“数据库 > 数据复制服务 DRS”。进入数据复制服务页面。 单击左侧目录的“实时迁移管理”
设置告警规则 操作场景 通过设置数据复制服务告警规则,用户可自定义监控目标与通知策略,及时了解数据复制服务运行状况,从而起到预警作用。 设置关数据复制服务的告警规则包括设置告警规则名称、服务、维度、监控范围、模板和是否发送通知等参数。 操作步骤 登录管理控制台。 在“所有服务”或“服务列表”中选择“管理与监管
ata1、ibtmp1。 数据库映射时,源库中存在视图、存储过程等对象,可能会导致实时同步失败。 目标数据库要求 目标数据库的运行状态必须正常。 目标数据库必须有足够的磁盘空间。 除了MySQL系统数据库之外,当目标库和源库同名时,目标数据库中若存在与源库同名的表,则表结构必须与源库保持一致。
库实例开启并设置了SQL限流规则,可能会导致DRS任务失败。 网络中断在30秒内恢复的,不影响实时同步,如果超过30秒,则会导致同步任务失败。 支持通过映射方式实现多个库对一个库的实时同步,且映射库之间不允许存在同名表。 索引同步不区分索引类型,同步到目标数据库都是btree索引。
库的端口号。 同步过程中,不允许对正在迁移中的目标数据库进行修改操作。 前提条件 已登录数据复制服务控制台。 账户余额大于等于0元。 满足实时同步支持的数据库类型和版本,详情请参见支持的数据库。 当用户创建DRS任务使用的是子账号时,请先确认已添加过委托。创建委托方法,可参考委托管理。
table> TO <user>; 目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。