检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。创建方式参见创建迁移任务组。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。
对于大容量、大规模的对象迁移,对象存储迁移服务提供了创建迁移任务组功能,能够自动划分并创建迁移任务,最大化利用服务的并发性能。 支持以组的方式对迁移任务进行管理。 高效传输 并行迁移 支持多对象并行迁移。 解冻归档数据 对于归档类型的对象存储,支持自动解冻该对象后进行迁移。 自定义域名迁移 支持使用源端桶自定义域名迁移。
对象存储迁移流程 您可直接登录管理控制台进行对象存储迁移操作,迁移流程如图1所示。 图1 对象存储迁移流程 具体说明: 创建源端和目的端的访问密钥(AK/SK)。 源端:参见源端云服务提供商的相关资料。 目的端:参见创建访问密钥(AK/SK)。 在对象存储服务中创建用于存放迁移数据的桶。
最佳实践汇总 本文汇总了基于对象存储迁移服务(Object Storage Migration Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据
如有成功对象列表,可在对象列表中找到“success_object_lists”文件夹,下载相应的txt文件,查看成功对象列表。 成功对象列表路径说明:oms/sync_task/同步任务ID/success_object_lists/同步子任务名称/时间戳.success_list.txt。
Storage Service,OBS)中。 目前支持亚马逊云(中国)、阿里云、微软云、百度云、华为云、金山云、优刻得、青云、七牛云、腾讯云、谷歌云平台的对象存储数据迁移。 对象存储迁移服务的典型应用场景有: 对象数据搬迁:将典型Web应用搬迁到华为云上时,把用户的对象存储数据搬迁到华为云中。
SDK的语言支持:Java、Python、Go。 发布区域:全部 SDK参考 权限管理 如果您需要对您所拥有的OMS进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织
使用QingCloud 账户登录到控制台。 在控制台中,找到菜单栏中的“产品与服务 > 访问与授权 > API密钥”选项,单击进入 API 密钥管理页面。 在 API 密钥管理页面,单击“创建”按钮,弹出“新建API密钥”窗口。 在创建窗口中,输入您想要为 API 密钥设置的名称,例如“我的API密钥”。
创建迁移任务:通过源端和目的端的AK和SK创建迁移任务。 查询指定ID的任务详情:根据迁移任务ID查询任务详情,确定迁移任务是否创建成功。 前提条件 已获取源端云服务平台的AK/SK。 已获取目的端AK/SK,参见创建访问秘钥(AK/SK)。 已获取IAM和OMS的Endpoint,参见地区和终端节点。 已获取源端桶的区域。
使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。关于访问密钥的详细介绍及获取方式,请参见访问密钥(AK/SK)。 访问控制 OMS支持通过IAM权限控制进行访问控制。关于IAM的详细介绍以及OMS权限管理请参见创建用户并使用OMS。
dOnlyAccess),如果没有,参考如下步骤生成AK/SK并添加权限。 登录阿里云RAM控制台。 在左侧导航栏,选择身份管理 > 用户。 在用户页面,单击用户名称,进入用户详情页面。 在用户 AccessKey区域,单击“创建 AccessKey”,生成AccessKey ID和AccessKey
控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task/任务名称/success_object_lists/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控制台
控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task/任务名称/success_object_lists/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控制台
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证要高。 Token认证:通过Token认证通用请求。
xt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task_group/任务组ID/success_object_lists/任务名称/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控
xt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task_group/任务组ID/success_object_lists/任务名称/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控
bucket -r region 参数说明: 参数 说明 -a SecretId ,请前往控制台访问管理>API密钥管理获取。 -s SecretKey,请前往控制台访问管理>API密钥管理获取。 -b 指定的存储桶名称。初次配置使用时,您需要在 COS 控制台创建一个存储桶,用于配置工具。
API v2(推荐) 查询API版本信息 迁移任务管理 同步任务 迁移任务组管理 桶操作 云服务 区域
迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。 创建迁移任务组 查看迁移任务组 管理迁移任务组
logger.info("record success or failed object success.") else: logger.error("record success or failed object failed,