检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务状态。 操作步骤 参考认证鉴权,通过调用IAM服务的API,获取用户的Token。 参考获取任务ID,获取需要查询的任务ID。 URI格式: /v3/{project_id}/jobs/batch-status 请求示例: POST: https://{endpoint}/v
日志读取模块:日志读取模块从源数据库读取原始增量日志数据(例如MySQL为binlog),经过解析转换为标准的日志格式存储在本地。 日志回放模块:日志回放模块根据日志读取模块转换的标准格式增量日志,根据用户的选择策略进行加工过滤,将增量数据同步到目标数据库。 备份迁移基本原理 图3 备份迁移原理
& : " ' / \\ 特殊字符,文件编号只能为3-20个数字,binlog事件位置只能为1-20个数字,且总长度不能超过100个字符。格式为:文件名.文件编号:事件位点。 MongoDB为源的任务,任务的源库日志从位点开始获取(含当前启动位点),位点需设置在oplog范围以内。非集群通过db
分布式消息服务Kafka版”。 在“Kafka专享版”页面,单击Kafka实例的名称。 选择“消息查询”页签,在Kafka对应的Topic中,查看接收到相应的JSON格式数据。 结束同步任务。 根据业务情况,确认数据已全部同步至目标库,可以结束当前任务。 单击“操作”列的“结束”。 仔细阅读提示后,单击“是”,结束任务。
partition策略也不同,详细的说明可参考同步Topic和Partition策略说明。 投递到Kafka的数据格式 可选择JSON格式,可参考Kafka消息格式。 同步对象 同步对象选择db_test库下的schema_test.table1。 单击“下一步”,等待预检查结果。
Topic策略按表名自动生成。 投送到kafka的数据格式 选择Oracle投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对
partition策略也不同,详细的说明可参考同步Topic和Partition策略说明。 投递到Kafka的数据格式 可选择JSON格式,可参考Kafka消息格式。 同步对象 同步对象选择db_test库下的schema_test.table1。 单击“下一步”,等待预检查结果。
开始限速时间,此时间为UTC时间,开始时间为整时,如果有分钟,则会忽略,格式为hh:mm,小时数为两位,例如:01:00。 end 是 String 结束时间,此时间为UTC时间,输入必须为59分结尾,格式为hh:mm,例如:15:59。 speed 是 String 限速,取值范围为1~9999,单位为MB/s。
服务器无法处理请求附带的媒体格式。 416 Requested range not satisfiable 客户端请求的范围无效。 417 Expectation Failed 服务器无法满足Expect的请求头信息。 422 UnprocessableEntity 请求格式正确,但是由于含有语义错误,无法响应。
Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同
Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对象,右侧框是已经选择的对象,同
数据库参数检查 源数据库binlog日志是否开启 源数据库binlog格式检查 源数据库expire_logs_days参数检查 源数据库和目标数据库的字符集是否一致 源数据库参数server_id是否符合增量迁移要求 源数据库和目标数据库表名大小写敏感性检查 源数据库中是否存在非ASCII字符的对象名称
String RDS实例所在Region。 created_at String 创建日期,格式yyyy-MM-dd'T'HH:mm:ss'Z'。 updated_at String 修改日期,格式yyyy-MM-dd'T'HH:mm:ss'Z'。 ip String 迁移实例所在的私有IP。
详情请参见表7。 表5 object_info字段数据结构说明 参数 是否必选 参数类型 描述 id 否 String 数据库名称和数据库表名称,例如格式为lxl_test1-*-*-test_1,其中lxl_test1为数据库名称,test_1为表名称。 select 否 String 是否选择高级配置,值为true。
增量同步时,源数据库的Binlog日志必须打开。 详见源数据库binlog日志是否开启。 Binlog格式 源数据库的Binlog格式必须为行格式。 详见源数据库binlog格式检查。 Binlog保留时长 在磁盘空间允许的情况下,建议源数据库Binlog保存时间越长越好,建议为3天,设置为0,可能会导致同步失败。
jobs字段数据结构说明 参数 是否必选 参数类型 描述 job_id 是 String 任务ID。 start_time 否 String 任务启动时间,时间戳格式精确到毫秒,例如:1608188903063,取值为空代表立即启动。 响应参数 状态码: 202 表5 响应Body参数 参数 参数类型 描述
String 检查点。 delay String 延迟(单位ms)。 gtid_set String gtid。 time String 当前时间 ,格式为“yyyy-MM-dd HH:mm:ss”。 请求示例 批量查询RPO和RTO示例: https://{endpoint}/v3/054
同步用户权限:同步用户的default privilege需要为系统默认值,否则可能导致目标库与源库的对象权限不一致。 说明: 同步事件触发器、文本搜索解析器、文本搜索模板时,不仅要求目标库版本为RDS for PostgreSQL 11.11及以上,还要求目标库连接用户为root用户或root用户的成员。 源数据库权限设置:
同步用户权限:同步用户的default privilege需要为系统默认值,否则可能导致目标库与源库的对象权限不一致。 说明: 同步事件触发器、文本搜索解析器、文本搜索模板时,不仅要求目标库版本为RDS for PostgreSQL 11.11及以上,还要求目标库连接用户为root用户或root用户的成员。 源数据库的权限设置:
Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DRS服务的其它功能。 策略是以JSON格式描述权限集的语言。默认情况下,新建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略,才能使用户组中的用户获得策略定义的权