检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括:
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
需更高的迁移效率,建议使用迁移中心MgC的存储迁移工作流进行迁移。迁移中心MgC提供独享的集群资源,能够动态扩展迁移性能,最高支持20Gbit/s带宽。 迁移速度的影响因素很多,比如迁移的对象大小、正在迁移的对象个数、网络传输情况等。在不考虑网络环境的情况下分析迁移速度慢的原因可能有下面几个方面:
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
对象名称写入URL列表文件,并将生成的URL列表文件存放在与目的端桶处于同一区域的OBS桶中。 创建迁移任务组:将待迁移的文件URL和目的端对象名称写入URL列表文件,并将生成的URL列表文件存放在与目的端桶处于同一区域的OBS桶指定目录(文件夹)下。指定目录(文件夹)只能存放URL列表文件。
查询云厂商支持的reigon 功能介绍 查询云厂商支持的reigon 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/objectstorage/data-center 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
创建一个含有实际数据的迁移任务来测试迁移速度,实际最大迁移速度为单个任务平均速度的5倍(单个Region内并发任务数最大为5)。如果需要更高的并发任务数,可以使用迁移中心 MgC的存储迁移工作流来自定义并发子任务数。 归档数据 对于归档类型的数据,迁移前需要您进行解冻操作,待解冻
解冻源端归档数据 当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。AWS S3归档数据解冻具体操作请参见亚马逊归档数据迁移方案相关文档。 若您源端有解冻中的数据,待解冻完成后再进行迁移,否则这些数据会迁移失败。
Boolean 是否启用元数据迁移,默认否。不启用时,为保证迁移任务正常运行,仍将为您迁移ContentType元数据。 缺省值:false enable_restore 否 Boolean 是否自动解冻归档数据,默认否。 开启后,如果遇到归档类型数据,会自动解冻再进行迁移。 缺省值:false
“输入对象前缀”迁移方式。 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。 图8 输入对象前缀 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。 设置“目的端配置选项”区域参数。
“输入对象前缀”迁移方式。 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。 图8 输入对象前缀 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。 设置“目的端配置选项”区域参数。
OMS如何迁移指定时间的文件? OMS支持迁移指定修改时间后的对象,您可以在创建迁移任务/迁移任务组时,设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。 选择“否”,不过滤源端待迁移对象。 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。 输入的指定时间
“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 如果单个桶数据量大于3
“输入对象前缀”迁移方式。 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。 图8 输入对象前缀 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。 (可选)根据表3,设置“源端使用自定义域名下载”参数。
“输入对象前缀”迁移方式。 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。 图8 输入对象前缀 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。 (可选)根据表3,设置“源端使用自定义域名下载”参数。
“输入对象前缀”迁移方式。 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。 图8 输入对象前缀 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。 设置“目的端配置选项”区域参数。
“输入对象前缀”迁移方式。 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。 图8 输入对象前缀 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。 (可选)根据表3,设置“源端使用自定义域名下载”参数。
“输入对象前缀”迁移方式。 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。 图8 输入对象前缀 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。 (可选)根据表3,设置“源端使用自定义域名下载”参数。