检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除迁移任务前,需要获取Token并暂停迁移任务,暂停迁移任务后,需查询任务状态详情,当迁移任务暂停后,才能删除迁移任务。 涉及接口 获取IAM用户Token(使用密码):用于鉴权认证。 暂停迁移任务:根据迁移任务ID暂停迁移任务。 查询指定ID的任务详情:根据迁移任务ID查询任务详情,确定迁移任务是否暂停成功。
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
启动迁移任务前需要获取Token,启动迁移任务后,需要查询任务状态详情,失败或暂停中的任务才能被启动。 涉及接口 获取IAM用户Token(使用密码):用于鉴权认证。 启动迁移任务:通过源端和目的端的AK和SK启动失败或者暂停的迁移任务。 查询指定ID的任务详情:根据迁移任务ID查询任务详情,确定迁移任务是否启动成功。
该问题可能是由于对象迁移过程中网络波动导致的迁移任务失败。 解决方案 方案一:手动重启迁移任务。 方案二:在业务代码中实现自动检查任务+重启失败任务列表。 方案三:使用函数工作流自动检查任务+重启失败任务列表,方法请参见自动检查并重启失败的迁移任务。 父主题: 异常恢复
JSONObject SMN消息,参见表6。 说明: 用户可以选择是否发送SMN信息,在迁移任务已经结束的情况下才会有该字段。 migrate_since long 迁移指定时间,表示仅迁移在指定时间之后修改的源端待迁移对象。默认为0,表示不设置迁移指定时间。 task_type
该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。关于访问密钥的详细介绍及
基于IAM细粒度OBS权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。 登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。 在“统一身份认证服务”导航树,单击“权限管理>权限”,进入权限页面。 单击右上角“创建自定义策略”,进入创建自定义策略页面。
通过云审计服务,您可以记录与对象存储迁移服务相关的操作事件,如下列各表所示。 您可以查看这些操作,以评估对服务的影响,具体请参见查看追踪事件。 在云审计的事件查询条件中,“事件来源”选择“OMS”。 表1 云审计服务支持的对象存储迁移服务资源类型列表 资源名称 资源类型 描述 迁移任务
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
迁移完成后,为什么目的端桶对象个数/大小与源端桶对象个数/大小不一致? 源端对象个数/大小>目的端对象个数/大小 源端对象个数>目的端对象个数 可能原因:源端有增量对象或源端扫描有问题。 判断方法:再次创建OMS迁移任务进行增量迁移,查看源端桶扫描对象数与上次迁移时OMS统计的源
Boolean 是否记录失败对象。开启后,如果有迁移失败对象,会在目的端存储失败对象信息。 enable_kms Boolean 存储入OBS时是否使用KMS加密。 enable_metadata_migration Boolean 是否启用元数据迁移,默认否。不启用时,为保证迁移任务正常
对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
迁移任务组 适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
迁移任务 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String API认证鉴权的Token认证方式。推荐使用Authorization签名认证方式,具体请参考API认证鉴权 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选
殊字符。 最小长度:0 最大长度:255 migrate_since 否 Long 以时间戳方式表示的迁移指定时间(单位:秒),表示仅迁移在指定时间之后修改的源端待迁移对象。默认不设置迁移指定时间。 最小值:0 最大值:9223372036854775807 缺省值:0 bandwidth_policy
RC64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。FULL_
类型的对象直接跳过相应对象,系统默认对象迁移失败并记录相关信息到失败对象列表中。 enable_kms Boolean 存储入OBS时是否使用KMS加密。 task_type String 任务类型,默认为PREFIX。 LIST:对象列表迁移 URL_LIST:URL列表迁移,
RC64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。FULL_