检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移并行文件系统内的对象数据有哪些限制? 当待迁移对象所属文件层级过深时,建议通过创建迁移任务组进行迁移。如果通过创建迁移任务进行迁移,可能出现列举对象超时,导致列举中断。 父主题: 迁移限制
创建同步任务 使用场景 同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,即时将数据同步到华为云OBS侧。 同步任务依托于源端事件触发器、函数工作流服务以及公网传输,可能存在
Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Ok 400 Bad Request 403 Forbidden
GB),并将生成的URL列表文件放在华为云OBS桶的指定目录中(目录下的文件个数不能超过2000个且必须是“.txt”类型的文件),对象存储迁移服务将会迁移OBS桶指定目录下所有URL列表文件中的对象。 选择“列表目录所在桶(华为云)”。 说明: 此参数中列出的桶是通过6.b中输入的目的端AK/SK得到的桶列表。
迁移任务组 适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
迁移任务 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
前添加对象文件所在的目录路径。格式为:桶名/文件夹/对象前缀。 若不添加该参数,则默认迁移全桶的数据。 指定URL列表 指定URL列表方式,一般适用于HTTP或HTTPS源端的迁移场景,用户需要将待迁移的文件URL和目的端对象名称写入URL列表文件,并将生成的URL列表文件放在华
选择华为云。 访问密钥 填写源端华为云的访问密钥(AK)。 私有访问密钥 填写源端华为云的私有访问密钥(SK)。 是否指定桶名 关闭“是否指定桶名”(默认设置)。 单击“桶名”后的“列举源端桶”,在“桶名”中列举您名下的所有桶。 在“桶名”的下拉列表中选择需要迁移的桶。 说明: 当源端AK/
迁移是否会影响目的端桶的已有数据 对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。 不存在同名对象,OMS迁移服务对目的桶已有数据无影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务
迁移阿里云数据时,对象名称中包含“/”的对象均迁移失败,其余对象迁移成功 问题描述 阿里云整桶迁移时,对象名称中带“/”的对象都迁移失败。查看迁移日志、列举对象、获取元数据都是成功的,但在获取对象(getObject)时报404,No such key。 问题分析 出现该问题,是
迁移任务组。 使用函数工作流自动检查并重启失败的迁移任务。 本方案指导用户使用函数工作流检查指定任务id的迁移任务,若该任务迁移失败则自动重启。 该方案只提供参考,需要根据实际情况做出调整,函数工作流的使用方式请参见函数工作流 FunctionGraph。 图1 逻辑架构图 启动
OMS如何迁移指定时间的文件? OMS支持迁移指定修改时间后的对象,您可以在创建迁移任务/迁移任务组时,设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。 选择“否”,不过滤源端待迁移对象。 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。 输入的指定时间
更新指定id的迁移任务组的流控策略 功能介绍 当迁移任务组未执行完成时,修改迁移任务组的流量控制策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/taskgroups/{group_id}/update 表1 路径参数 参数 是否必选 参数类型
和其他服务的关系 对象存储迁移服务与其他服务的关系如表1所示。 表1 与其他服务的关系 相关服务 交互功能 位置 对象存储服务(Object Storage Service,OBS) 将源端对象数据迁移至华为云创建的OBS桶中。 创建单个迁移任务 创建迁移任务组 数据加密服务(Data
同步任务 适用场景 同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括:
String 目的端桶的名称。 最大长度:1024 region String 目的端桶所处的区域。 请与Endpoint对应的区域保持一致。 最小长度:0 最大长度:100 save_prefix String 目的端桶内路径前缀(拼接在对象key前面,组成新的key,拼接后不能超过1024个字符)。
准备工作 使用对象存储迁移服务前,请参考本节介绍完成准备工作。 注册华为账号 使用华为云之前,需要注册华为账号并开通华为云,还需要完成实名认证。 创建源端百度云和目的端华为云的访问密钥(AK/SK)并授权 源端百度云: 如果您使用管理员账号(即主账号)进行迁移,请登录百度云管理控
准备工作 使用对象存储迁移服务前,请参考本节介绍完成准备工作。 注册华为账号 使用华为云之前,需要注册华为账号并开通华为云,还需要完成实名认证。 创建源端金山云和目的端华为云的访问密钥(AK/SK)并授权 源端金山云: 如果您使用管理员账号(即主账号)进行迁移,请登录金山云控制台
新增CDN常见问题场景以及解决方法有哪些? 2020-08-06 第四次正式发布。 新增如何从一个区域迁移OBS桶数据到另一区域? 2020-06-19 第三次正式发布。 新增如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 新增如何解决KMS状态错误导致的迁移任务失败?