检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步对象约束 支持表数据的同步。 不支持数据库、视图、索引、约束、函数、存储过程、触发器(TRIGGER)和事件(EVENT)的同步。 不支持系统库的同步以及事件状态的同步。 不支持主键为FLOAT类型的表的同步。 不支持无主键表的同步。 全量和增量同步不支持隐藏列(INVISIBLE),隐藏列是MySQL
-resolve,减少连接超时的可能性。 源物理分片数据库的GTID状态建议为开启状态。 源物理分片数据库不支持枚举类型和set集合类型的实时同步。 源数据库表名、字段名不能超过30个字符。 目标数据库要求 目标库为社区Kafka。 Kafka的auto.create.topics
MySQL)要求--后必须跟空格。 操作步骤 本小节以Oracle到GaussDB(for MySQL)的实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填选区域、项目、任务名称、描述、同步实例信息,单击“开始创建”。
对接云日志服务 日志配置管理 查看或下载日志
对接云监控服务 支持的监控指标 设置告警规则 查看监控指标
如何查看审计日志 在您开启了云审计服务后,系统开始记录云服务资源的操作。云审计服务管理控制台保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看最近7天的操作记录。 前提条件 已开启云审计服务。 操作步骤 登录管理控制台。 在管理控制台左上角单击图标,选择区域和项目。
如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。 Oracle中实时同步到kafka后的字符集为UTF8。 Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。
低峰期时重新创建DRS任务。 操作步骤 本小节以Cassandra到GeminiDB Cassandra的实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填选区域、项目、任务名称、描述、同步实例信息,单击“开始创建”。
性后再进行启动。 导入模板为通用模板,一个sheet创建一个任务,若需要批量创建任务,请复制多个sheet,进行参数配置。 操作步骤 在“实时迁移管理”页面,单击左上角“批量导入任务”。 在“批量导入任务”对话框中,单击“下载模板”。 图1 批量导入任务 编辑下载的Excel模板,按照要求填写任务信息。
支持数据库、表、用户、视图、索引、约束、函数、存储过程、触发器(trigger)和事件(event)的迁移。 仅支持MyISAM和InnoDB表的迁移。 不支持系统库的迁移以及事件状态的迁移。 - 无主键表检查 由于无主键表的性能低于主键表的性能,建议将无主键表修改为主键表。 详见源库无主键表检查。 关联对象检查
集群:目前只支持集合(包括验证器,是否是固定集合),分片键,索引和视图的迁移。 单节点:目前只支持集合(包括验证器,是否是固定集合),索引和视图的迁移。 不支持迁移系统库(如local、admin、config等)的迁移,用户名和角色需要在目标库手动创建。 不支持视图的创建语句中有正则表达式。 不支持_id字段没有索引的集合。
任务。 操作步骤 本小节以DynamoDB到GeminiDB Cassandra(DynamoDB接口)的实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填选区域、项目、任务名称、描述、同步实例信息,单击“开始创建”。
增量同步过程中,请勿在Kafka上删除接收DRS数据的topic,否则可能导致任务失败。 操作步骤 本小节以DDS到Kafka的出云单增量实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填选区域、项目、任务名称、描述、同步实例信息,单击“开始创建”。
Service,以下简称DDS)实例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化。 本章节主要介绍了通过DRS将其他云数据库实时迁移至本云DDS的任务配置流程。包括以下迁移场景: 其他云MongoDB数据库实时迁移至本云DDS。 其他云内云主机自建
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制
概述 场景描述 本实践使用UGO语法迁移、DRS的实时同步功能将本地Oracle数据库实时同步至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB的数据迁移,最终业务割接至GaussDB。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。
for MariaDB 10.5版本 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表2进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查,并给出处理建议。
数据对比(对比同步项) 对比使用场景 对比实时同步项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,实时同步场景提供了以下几种对比方式: 对象级对比:支持对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 数据级对比分为行对比和内容对比。
table> TO <user>; 目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。
同步到下游。如需同步聚簇索引表,请升级至 v5.1 版本。 TiDB 系统变量 tidb_enable_async_commit:启用 TiDB Binlog 后,开启该选项无法获得性能提升。 TiDB 系统变量 tidb_enable_1pc:启用 TiDB Binlog 后,开启该选项无法获得性能提升。