检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移并行文件系统内的对象数据有哪些限制? 当待迁移对象所属文件层级过深时,建议通过创建迁移任务组进行迁移。如果通过创建迁移任务进行迁移,可能出现列举对象超时,导致列举中断。 父主题: 迁移限制
在迁移过程中,每迁移完一个对象,会对该对象进行一致性校验,如果不一致则会将该对象记录到失败对象列表中。OMS会累积记录迁移失败对象个数,可以通过任务详情查看具体的迁移数据统计。 校验策略为该对象是否同时满足以下条件,不满足则校验失败,并记录到失败对象列表中。 目的端对象的加密状态与任务是否开启KMS加密的状态一致,
选择“指定对象列表目录”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表目录。 在“选择对象列表目录”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象列表的文件夹,单击“确定”,如图7所示。
选择“指定对象列表目录”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表目录。 在“选择对象列表目录”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象列表的文件夹,单击“确定”,如图7所示。
败对象、忽略对象等列表文件,存放在您的目的桶中。 获取对象列表的方法请参见下表。 如果... 那么... 已迁移对象数大于0 在任务详情中找到“成功对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/ta
解决方案 方案一:手动重启迁移任务。 方案二:在业务代码中实现自动检查任务+重启失败任务列表。 方案三:使用函数工作流自动检查任务+重启失败任务列表,方法请参见自动检查并重启失败的迁移任务。 父主题: 异常恢复
单个迁移任务或迁移任务组任务,都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中,并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。 失败对象列表文件,最多记录10万个失败对象。 失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。 该文件记录
时将源端数据下载后上传到目的端;迁移完成后校验文件,会产生API请求。API请求分为每个对象基本请求+ 公共请求(列举对象,上传失败对象列表,网络异常重试,自动解冻等)。不同场景下,API请求次数不同。 目的端不存在源端同名对象 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head
判断方法:再次创建OMS迁移任务进行增量迁移,查看源端桶扫描对象数与上次迁移时OMS统计的源端桶对象数是否一致,并通过对象列表确认新增对象。如果扫描结果不一致,可通过对象列表确认新增对象;如果扫描结果一致,即OMS对源端扫描有问题。 解决方案:如果源端有新增对象,可通过增量迁移将新增对象迁
个人数据访问权限以及记录操作日志等方法防止个人数据泄露,保证您的个人数据安全。 收集范围 对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否
和其他服务的关系 对象存储迁移服务与其他服务的关系如表1所示。 表1 与其他服务的关系 相关服务 交互功能 位置 对象存储服务(Object Storage Service,OBS) 将源端对象数据迁移至华为云创建的OBS桶中。 创建单个迁移任务 创建迁移任务组 数据加密服务(Data
响应参数 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 id long 任务ID。 name String 任务名称。 src_node JSONObject 源端节点信息,参见表3。 dst_node JSONObject 目的端节点信息,参见表5。 thread_num
/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id 是 任务ID。 请求消息 请求参数 无。 响应消息 响应参数 响应参数如表2所示。 表2 响应参数 参数 类型 描述 id long 任务ID。
败。 URI DELETE /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id 是 任务ID。 请求消息 请求参数 无。 响应消息
totalcount={true}&state={state} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 totalcount 是 返回任务数标志,true表示将返回满足条件的任务数量。 state 否 任务状态。 0:初始化 1:等待调度
如何迁移一个账号下的OBS数据到另一个账号下? 当您因业务需要,需要迁移A账号下的OBS数据到B账号时,可按如下方式操作: 用B账号登录管理控制台。 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。 进入“对象存储迁移服务”页面。 单击“创建迁移任务”。 仔细阅读弹出的隐私协议声明,勾选“同意以上
对象存储迁移服务提供了版本查询接口和任务管理接口,如表1所示。 表1 对象存储迁移服务接口列表 类型 说明 查询API版本信息列表 查询对象存储迁移服务的API版本信息。 查询指定API版本信息 查询对象存储迁移服务指定API版本信息。 查询迁移任务列表 查询用户账户下的所有任务信息。 查询指定ID的任务详情
ListFile object 列表文件配置,当task_type为LIST或URL_LIST时,list_file为必选参数。 表5 ListFile 参数 是否必选 参数类型 描述 list_file_key 是 String 对象列表文件或URL列表文件对象名。 最小长度:1 最大长度:1024
时,可以在OBS中,将目的桶存储类型修改为标准存储后,再创建迁移任务组。 迁移任务组会将列表文件临时存放在目的桶的oms/路径下,如果目的桶为非标准存储,迁移节点将无法正常读取该路径下的列表文件,导致迁移失败。 父主题: 异常恢复
场景描述 本章节指导用户通过API创建迁移任务。API的调用方法请参见如何调用API。 创建迁移任务时,支持的任务类型有:URL列表迁移、对象前缀迁移、对象列表迁移、文件/文件夹迁移。本节我们以创建文件/文件夹迁移任务为例,介绍如何创建迁移任务。 涉及接口 获取IAM用户Token(使用密码):用于鉴权认证。