检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。 编辑标签 在“实时同步管理”页面,选择指定的同步任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签,单击“添加/编辑标签”,在弹出框中修改标签,单击“确定”。 删除标签 在“实时同步管理”
同步用户的密码)。 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的SELECT权限(用于同步用户的密码),无主键表的UPDATE、DELETE和TRUNCATE权限,REPLICATION连接权限。
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下:
已登录数据复制服务控制台。 迁移任务正常运行中。 暂停任务 在“实时迁移管理”页面的迁移列表中,选择要暂停的迁移任务,单击“操作 > 暂停”。 在弹出的“暂停任务”对话框中,选择“暂停日志抓取”后,单击“是”。 增量状态暂停任务时,仅暂停增量数据的回放、或者拉取加回放,在进行数据库割接前,请先结束任务。
添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。 编辑标签 在“实时灾备管理”页面,选择指定的灾备任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签,单击“添加/编辑标签”,在弹出框中修改标签,单击“确定”。 删除标签 在“实时灾备管理”
迁移方案概览 实时迁移是指在数据复制服务能够同时连通源数据库和目标数据库的情况下,只需要配置迁移的源、目标数据库实例及迁移对象即可完成整个数据迁移过程,再通过多项指标和数据的对比分析,帮助确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 通过增量迁移技术,能够最大限度允许
有增量迁移中的任务才可以使用该功能。 在“实时迁移管理”页面,选择指定的实时迁移任务,单击“操作”列的“数据对比”。 在“创建对比任务”页面,根据业务需要,选择“立即启动”或“稍后启动”后,单击“是”启动对比任务。 查看对比任务 在“实时迁移管理”页面,选择指定的实时迁移任务,单击“操作”列的“查看对比”。
使用流程 一次完整的实时同步,是通过创建实时同步任务,以同步任务作为导向,依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程: 图1 实时同步流程 步骤一:创
到log中的数据。 DRS同步数据的时候可能会出现以下情况: 如果先同步了插入的数据到目标库user表,这时候目标数据库的触发器被触发,目标库log表会自动写入,当同步第二条log表数据时,就无法将这条log表数据写到目标库了,数据冲突任务报错。 如果先同步log表中的数据,再同
ECS上构建社区版MySQL和创建GaussDB(for MySQL)实例,并使用数据复制服务DRS将本地MySQL数据库的数据迁移至GaussDB(for MySQL)。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务中断时间最小化。 应用场景 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。
大于20000 规格的线上运行性能受网络环境、源数据库和目标数据库的性能、延迟等因素影响,实际的性能值会有差异,表中性能上限值仅供参考。 DRS规格:DRS为用户提供的不同性能的链路规格,以全量同步(不限速)和增量同步性能为衡量标准。 性能上限(行/秒):表示每秒同步的事务数,包括BEGIN、COMMIT
sqlType 源端表字段的jdbc类型。 data 最新的数据,为JSON数组,如果type参数是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据。 old 旧数据,如果type参数是更新,则表示更新前的数据;如果是删除,则表示被删除的数据;如果是插入,取值为null。
实时灾备链路规格说明 注意事项 文中提供的性能指标仅用于提供参考的测试数据,实际环境会受源或目标数据库性能、网络带宽、数据模型、业务模型等因素影响。 规格说明 实时灾备根据链路的性能上限,定义了四种规格:极小、小、中、大,各个规格的同步性能上限如表1。 表1 规格性能上限 规格名称
过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。 不支持默认值含有表达式的函数的表的同步。 不支持同步源库中的临时表。 不支持同步源库中有虚拟列的表。
附录 通用使用建议 DRS预检查项一览表
附录 通用使用建议 DRS预检查项一览表
GaussDB分布式版为源强制结束任务 GaussDB主备版为源强制结束任务 PostgreSQL为源强制结束任务 通过创建事件触发器和函数实现PostgreSQL增量DDL同步
MySQL为源实时灾备 灾备阶段失败报错,关键词“A dml without pk write target db fail” 父主题: 失败案例
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例,该实例选择和自建MySQL服务器相同的VPC和安全组。 进入购买云数据库RDS页面。 配置实例基本信息。选择区域“华东-上海一”。 图1 基本信息 选择实例规格,其他参数默认配置。 图2 实例规格 单击“立即购买”。
出云 将MySQL同步到MySQL 将MySQL同步到Kafka 将MySQL同步到CSS/ES 将MySQL同步到Oracle 将MySQL同步到MariaDB 将DDM同步到MySQL 将DDM同步到Oracle 将DDM同步到Kafka 将DDS同步到MongoDB 将DDS同步到Kafka