检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cn-north-4.myhuaweicloud.com/v3.0/OS-USER/users 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme都是HTTPS,而Endpoint在同一
最佳实践汇总 本文汇总了基于对象存储迁移服务(Object Storage Migration Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据
需要根据实际情况选择割接方式,上述方案仅供参考。 约束与限制 OMS迁移任务限制参见下表。 表1 OMS迁移任务限制 类别 限制 多版本对象迁移 OMS默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。
件所在的目录路径。格式为:桶名/文件夹/对象前缀。 若不添加该参数,则默认迁移全桶的数据。 待迁移的对象会被记录在txt类型的列表文件中(每个迁移任务对应一个列表文件),并存放在目的端桶的“oms/taskgroup/”路径下。当任务组迁移完成后,这些列表文件会保留下来,您可以手动删除它们。
创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用的高级加密标准AES(Advanced Encryption Standard)。 当迁移任务失败、成功或者暂停时,会删除AK/SK。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
文件,单击“确定”。 请确保URL列表文件中的URL可通过HEAD和GET请求正常访问。 选择元数据迁移方式。 选择“忽略元数据”,OMS只迁移源端ContentType元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 仅支持中文字符、英文字符、数字和中划线【-】迁
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
敏感数据进行加密存储: 源端AK/SK 源端CDN秘钥 目的端AK/SK 访问权限控制 用户个人数据通过加密后存储在对象存储迁移服务数据库中,数据库的访问需要通过白名单的认证与授权。 API接口限制 用户调用API接口时,需要使用IAM Token进行认证。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。 可用区(AZ,Availability Zone) 一个可
参数 参数类型 描述 bandwidth_policy Array of BandwidthPolicyDto objects 流量控制策略,每个任务最多可设置5条限速策略。 数组长度:0 - 5 complete_size Long 任务迁移完成大小(Byte)。 最小值:0 最大
输情况等。在不考虑网络环境的情况下分析迁移速度慢的原因可能有下面几个方面: 大量的小对象 由于每个迁移任务的最大并发数是固定的,导致同时在迁移的对象数是有限制的。迁移前会列举对象,每个对象迁移完成后,都会对比源端和目的端是否一致。相比于迁移大对象,迁移同样大小的数据量,会有更多的列举对象和对比对象操作带来的时间消耗。
储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括: 华为云 亚马逊云(中国) 阿里云 微软云
基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请求。 当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完成源端同步迁移。 操作步骤 以下是源端云服务商为华为云时,通过函数工作流服务配置源端同步请求的操作步骤。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
当表2中task_type为url_list时,bucket为非必选。其他任务类型bucket为必选。 app_id 否 String 只在其他云服务提供商的账户存在appID这个标识时,需要填写此参数。 cloud_type 否 String 源端云服务提供商。 可选值有AWS、 Aliyun、Tencent、H
背景信息 本教程讲解了如何将腾讯云对象存储(Cloud Object Storage,简称COS)上的数据迁移到华为云对象存储 OBS。 华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服
以单击从迁移对象列表中删除。 说明: 如果选择的云服务提供商为七牛,则不支持选择文件/文件夹。 若不设置该参数,则默认迁移全桶数据。 针对每个迁移任务,在同一目录层级下,您最多可以选择500个文件或文件夹。 由于OBS服务的规格限制,请确认对象迁移到目的端后的名称不超过1024个字符,否则将导致任务失败。