检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OMS在数据迁移前需要对源端和目的端的文件进行对比;迁移时将源端数据下载后上传到目的端;迁移完成后校验文件,会产生API请求。API请求分为每个对象基本请求+ 公共请求(列举对象,上传失败对象列表,网络异常重试,自动解冻等)。不同场景下,API请求次数不同。 目的端不存在源端同名对象 对源端的操作
迁移限制 OMS将对象数据迁移到并行文件系统有哪些限制? 迁移并行文件系统内的对象数据有哪些限制? 创建迁移任务时提示“您选择的目的端桶所在区域与控制台Region不一致,请选择所在区域为xxx的桶或切换控制台Region为xxx”该如何处理? 源端云服务商不在OMS支持范围,该如何迁移?
择,OMS支持的系统权限,请参见:OMS系统权限。若您需要对除OMS之外的其它服务授权,IAM支持服务的所有权限请参见权限策略。 示例流程 图1 给用户授权OMS权限流程 创建用户组并授权 系统策略:如果IAM用户需要OMS的所有操作权限,则为IAM用户授予系统策略。在IAM控制台创建用户组,并授予“OMS
能生效。 对象存储迁移服务 (OMS)的所有系统角色,参见表1。 表1 OMS系统权限 角色名称 描述 类别 依赖关系 OMS Administrator 对象存储迁移服务所有权限。 系统角色 依赖OBS Administrator系统策略。 源端桶权限获取 以华为云OBS源端桶
各云服务商迁移教程 华为云OBS之间迁移教程 华为云并行文件系统迁移教程 阿里云OSS迁移至华为云OBS教程 腾讯云COS迁移至华为云OBS教程 七牛云迁移至华为云OBS教程 百度云BOS迁移至华为云OBS教程 优刻得US3迁移至华为云OBS教程 金山云KS3迁移至华为云OBS教程
迁移阿里云数据时,对象名称中包含“/”的对象均迁移失败,其余对象迁移成功 输入对象前缀时,提示“无法访问对象,请检查并确保:对象存在且具有访问权限” 迁移并行文件系统对象时,一致性校验失败如何处理? 无法下载桶对象,OMS也无法迁移 迁移任务失败,传输中断问题该怎么解决?
新增跨区域迁移时,迁移速率慢且失败对象较多,如何处理? 2023-12-05 第二十六次正式发布。 新增迁移并行文件系统内的对象数据有哪些限制? 新增迁移并行文件系统对象时,一致性校验失败如何处理? 新增存储类型介绍。 2023-11-07 第二十五次正式发布。 更新如何获取源端桶权限和目的端桶权限?
推荐使用obsutil工具修改对象路径。 请参见下载obsutil获取工具,并参见初始化配置对工具进行初始化。 使用工具命令移动对象。 以Windows操作系统为例: 运行obsutil mv obs://src_bucket/key obs://dsc_bucket/dsc_path ,移动单个对象。
迁移示意图 操作步骤说明如下: T1时间:启动全量迁移、华为侧业务验证。 ①全量迁移:将T1时间点之前的源端存量数据全量迁移到华为云(此时客户业务系统还会继续往源端桶新增业务数据)。 ②业务验证:验证迁移数据 + 验证华为侧数据业务(数据读取和写入)。 T2时间:启动首次增量数据迁移、评估数据增量速度。
OTOCOL、HTTP/HTTPS数据源迁移。 逻辑架构图 图1 存储迁移逻辑架构图 迁移流程实施 准备工作 创建目的端对象桶或者弹性文件系统。 评估集群 根据源端文件数量,自行评估集群大小及规格,将用于工作流中新建集群。 开始配置工作流 基于存储迁移工作流模板配置更加详细的参数,帮助您完成迁移工作。
登录管理控制台,进入“对象存储迁移服务”页面。 对目标迁移任务进行操作。 表1 管理迁移任务 项目 场景 操作 暂停迁移任务 因故暂停正在迁移的任务,比如:当迁移任务并发数超过系统的限制时,暂停部分次要迁移任务,优先执行重要的迁移任务。 单击任务操作列的“停止”按钮 。 仔细阅读弹出窗口中的内容后单击“确定”,暂停该迁移任务。
和账号ID。 我们收集您的上述信息,将用于为您提供对象存储迁移服务。对于您的源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,系统将于完成您的迁移服务后自动删除上述信息。对于您的华为云用户ID、项目ID和账号ID,将保存至您注销华为云账号时。 我们将会为您的上述信息采取相关安全保障措施,包括但不限于加密。
密钥设置的名称,例如“我的API密钥”。 创建窗口中,不填写IP白名单,否则将造成迁移节点无法访问源端对象存储服务API。 单击“提交”按钮后,系统会生成一个新的 API 密钥对,包括 API 密钥 ID 和 API 私钥。同时,会弹出一个下载链接,用于下载包含这些信息的 access_key
源端对象个数/大小<目的端对象个数/大小 源端对象个数<目的端对象个数 可能原因: OBS和友商控制台,统计可能存在部分时延,迁移后需要等待少许时间。 目的端桶存在客户业务系统切换到华为云后,自主写入的新增对象/OMS上传的对象列表文件。 源端对象大小<目的端对象大小 可能原因: 目的端桶存在OMS上传的相关配置文件。
200 TRF.0001 System error. Click Restart to restart the migration task. 系统内部异常。 请单击重启按钮尝试重启迁移任务。 200 TRF.0003 Waiting for task execution timed out
时请注意。 Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak