检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Avro:可以显示Avro二进制编码,高效获取数据,需要反序列化后解释。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 详细格式可参考Kafka消息格式。
创建DRS任务后执行自动功能失败 当用户创建DRS任务使用的是子账号,执行定时启动任务、全量完成自动结束、自动续传失败任务、定时对比任务等自动功能时,可能会访问全局服务或是Region级别服务,需要使用“账户委托”,否则会导致执行失败。 因为缺少委托而导致定时启动失败的任务,需要在增加委托后重建任务
将Oracle同步到GaussDB集中式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) ECS自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) GaussDB
配置DRS任务时未过滤ADD COLUMN:DRS会自动识别只执行一次DDL,不会导致任务失败。
ECS自建MongoDB迁移DDS 数据复制服务(Data Replication Service,简称DRS)支持将ECS自建数据库的数据迁移到本云文档数据库服务(Document Database Service,以下简称DDS)实例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机
创建DRS同步任务 本章节介绍如何创建DRS同步任务,将本地自建Oracle上的数据库同步到华为云DDM。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例为同步到DDM入云同步,您可以参考DRS使用须知获取相关信息。 创建同步任务 登录华为云控制台
创建同步任务 使用流程 一次完整的实时同步,是通过创建实时同步任务,以同步任务作为导向,依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程: 图1 实时同步流程
db_encoding String 默认编码格式是utf8。 表6 object_info字段数据结构说明 参数 参数类型 描述 sync_type String 该数据库在实时同步场景下的类型。
状态码 状态码如表1所示: 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
DRS需要源数据库停止业务吗 DRS任务分为全量、增量、全量+增量三种模式,不同链路支持的模式不同。 全量模式:该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库。 增量模式:该模式通过解析日志等技术,将源端产生的增量数据持续迁移至目标端数据库
操作须知 如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。 Oracle中实时同步到kafka后的字符集为UTF8。
db_encoding String 默认编码格式是utf8。 表6 object_info字段数据结构说明 参数 参数类型 描述 sync_type String 该数据库在实时同步场景下的类型。
是否禁用了外键或者同步的表在目标库上是否有外键 源库集合复合哈希索引检查 源库集合复合哈希分片键检查 源端表结构是否存在换行 同步对象中是否存在包含bytea、text类型字段的表 源库表结构是否存在虚拟列 检查源库的max_allowed_packet参数 源库补全日志级别检查 Kafka Topic是否已创建 源库编码方式检查
DRS任务的双AZ和单AZ有什么区别 目前,DRS实时同步任务在创建任务时支持选择任务类型为“双AZ”或“单AZ”。 双AZ任务:一主一备的经典高可用架构,提高了DRS任务的可靠性。双AZ任务创建后,DRS会同时创建一主一备两个子任务,当主AZ任务发生异常,DRS会自动启动备AZ任务继续进行同步
如果请求消息体中参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。
如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。 不使用DRS同步表结构(自建表结构)的场景下,无主键表如果因表结构问题导致任务失败,修复表结构后续传无法恢复,需要重置任务。
如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。 Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。
如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。 Oracle中表结构同步到DDM后表的字符集为utf8mb4。
db_encoding 否 String 默认编码格式是utf8。 表12 object_info字段数据结构说明 参数 是否必选 参数类型 描述 sync_type 否 String 该数据库在实时同步场景下的类型。
db_encoding String 默认编码格式是utf8。 表13 object_info字段数据结构说明 参数 参数类型 描述 sync_type String 该数据库在实时同步场景下的类型。