检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建同步任务后,该任务状态显示为同步中,仅代表可以接受源端发送的同步请求并进行同步,需要您前往源端完成同步请求的配置,详情请参见源端配置同步请求。通过源端配置,使得源端新增/修改对象能够发送同步请求。配置完成后,您的数据将开始进行同步迁移。 已停止 表明停止对源端对象存储服务数据的同步。 说明:
表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高:割接前用户业务校验充分,增量迁移时全量扫描校验确保数据无遗漏。
填写“桶自定义域名”。 检查 单击“检查”按钮,检查参数设置是否正确。 检查未通过,页面右上角展示错误信息。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 保存到指定前缀。 选择“关闭”,源端对象迁移到目的端后,对象名保持不变。 选择“开启”,如图8所示,输入对象前
迁移对象智能分解到多个迁移任务中并行迁移。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
填写“桶自定义域名”。 检查 单击“检查”按钮,检查参数设置是否正确。 检查未通过,右上角提示对应的错误原因。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 保存到指定前缀。 选择“关闭”,源端对象迁移到目的端后,对象名保持不变。 选择“开启”,如图8所示,输入对象前
填写“桶自定义域名”。 检查 单击“检查”按钮,检查参数设置是否正确。 检查未通过,页面右上角展示错误信息。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 保存到指定前缀。 选择“关闭”,源端对象迁移到目的端后,对象名保持不变。 选择“开启”,如图9所示,输入对象前
填写“桶自定义域名”。 检查 单击“检查”按钮,检查参数设置是否正确。 检查未通过,右上角提示对应的错误信息。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 保存到指定前缀。 选择“关闭”,源端对象迁移到目的端后,对象名保持不变。 选择“开启”,如图9所示,输入对象前
填写“桶自定义域名”。 检查 单击“检查”按钮,检查参数设置是否正确。 检查未通过,右上角提示对应的错误信息。 检查通过,继续进行其他迁移配置。 设置“目的端配置选项”区域参数。 保存到指定前缀。 选择“关闭”,源端对象迁移到目的端后,对象名保持不变。 选择“开启”,如图9所示,输入对象前
设置任务参数页面 在“源端配置选项”区域,选择迁移方式为“选择文件/文件夹”,如图6所示。 图6 选择迁移方式 单击“选择”按钮,弹出“选择文件/文件夹”窗口,如图7所示。勾选待迁移的文件(单个或多个文件),单击“确定”按钮。 图7 选择文件 如图8所示,在“目的端配置选项”区域,保存到
迁移任务组 适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
使用“回源配置方案”迁移增量对象数据 本节指导用户使用回源配置方案迁移增量对象数据。 优势 此方案优势在于: 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高,割接前可提前验证,迁移后可校验。 操作流程 “回源配置方案”迁移增量对象数据流程图,如图1所示。
方式参见创建迁移任务。 迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。创建方式参见创建迁移任务组。 迁移任务组相较于迁移任务,提供
config 使用交互式配置生成配置文件。 输入配置命令。 ./ossutil64 config 根据提示设置配置文件路径。 建议直接按回车使用默认配置文件的路径。 根据提示设置工具的语言。 请输入语言CH或EN。工具使用的语言默认与操作系统保持一致。该配置项将在此次config命令设置成功后生效。
在“安全性和网络”下,选择“共享访问签名” , 设置页面部分必要参数,参见表1 设置参数。其余参数请根据需求配置。 表1 设置参数 参数 设置 允许的服务 选择至少包含:Blob。 允许的资源类型 选择至少包含:容器和对象。 允许的权限 选择至少包含:读取和列表,如果要迁移归档类对象权限则需要再勾选:写入。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请
说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。
r.uri = r.uri + "?" + queryString (可选)展开“高级配置”,您可以根据实际需求修改环境配置、权限配置、层配置、网络配置等,详情参见函数相关配置。 配置触发器,在“创建触发器”中选择自定义创建。 触发方式:选择“COS触发”。 COS Bucket:选择同步任务的源端桶。
BandwidthPolicyDto objects 配置流量控制策略。数组中一个元素对应一个时段的最大带宽,最多允许5个时段,且时段不能重叠。 数组长度:0 - 5 task_priority 否 String 任务优先级配置,存在高中低三个优先级档次,限制仅在等待中、已暂停、已失败的任务进行修改
源端同步请求函数工作流创建与配置完成后,需要配置测试事件来进行检验。 单击“代码”页签,在代码源区域的下拉菜单中选择“配置测试事件”,弹出配置测试事件页面,如图6所示。配置相关参数,参见表4。 图6 配置测试事件 表4 参数配置说明 参数 配置说明 配置测试事件 选择创建新的测试事件
阿里云OSS配置同步请求 背景信息 创建同步任务后,您需要在源端配置同步请求,以确保源端云服务商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如,通过消息通知或函数计算服务方式),以完成对源端新增、修改对象数据的同步迁移。 配置条件 实时获取源端新增、修改对象名称。